Présentation

Le processeur Deduplicate supprime les copies de données pour réduire le volume et le bruit. Il met en cache les messages et compare votre trafic de logs entrants aux messages mis en cache. Par exemple, ce processeur peut être utilisé pour ne conserver que les logs d’avertissement uniques dans le cas où plusieurs logs d’avertissement identiques sont envoyés successivement.

Configuration

Pour configurer le processeur Deduplicate :

1. Définissez un filter query. Consultez Logs Search Syntax pour plus d’informations.
   • Seuls les logs qui correspondent à la requête de filtre spécifiée sont traités.
   • Tous les logs, qu’ils correspondent ou non à la requête de filtrage, sont envoyés à l’étape suivante du pipeline.
2. Dans le menu déroulant Type of deduplication, sélectionnez si vous souhaitez Match sur ou Ignore les champs spécifiés ci-dessous.
   • Si Match est sélectionné, alors après le passage d’un log, les futurs logs ayant les mêmes valeurs pour tous les champs que vous spécifiez ci-dessous sont supprimés.
   • Si Ignore est sélectionné, alors après le passage d’un log, les futurs logs ayant les mêmes valeurs pour tous leurs champs, à l’exception de ceux que vous spécifiez ci-dessous, sont supprimés.
3. Saisissez les champs sur lesquels vous souhaitez effectuer une correspondance ou que vous souhaitez ignorer. Au moins un champ est requis, et vous pouvez spécifier un maximum de trois champs.
   • Utilisez la notation de chemin <OUTER_FIELD>.<INNER_FIELD> pour faire correspondre les sous-champs. Voir l’exemple de notation de chemin ci-dessous.
4. Cliquez sur Add field pour ajouter des champs supplémentaires sur lesquels vous souhaitez filtrer.

Paramètres optionnels

Taille du cache

La taille de cache par défaut est de 5 000 messages (recommandé). Les messages mis en cache sont conservés en mémoire pour déterminer si les messages entrants sont des doublons. Vous pouvez augmenter la taille du cache pour répondre à vos besoins.

Remarques :

• L’augmentation de la taille du cache accroît l’utilisation de la mémoire.
• Le cache est pris en charge par un cache LRU, dont la taille est identique à celle du cache configuré.
• Comme le cache n’est pas partagé entre les Workers, seuls les événements dupliqués traités par le même Worker sont supprimés.

Exemple de notation de chemin

For this log structure example:

{
    "outer_key": {
        "inner_key": "inner_value",
        "a": {
            "double_inner_key": "double_inner_value",
            "b": "b value"
        },
        "c": "c value"
    },
    "d": "d value"
}

Follow these reference rules:

• Use outer_key.inner_key to reference the key with the value inner_value.
• Use outer_key.a.double_inner_key to reference the key with the value double_inner_value.

To specify a nested field with a literal . in the attribute key, wrap the key in escaped quotes in the search query. For example, the search query "service.status":disabled matches the event {"service.status": "disabled"}.