philhagen / sof-elk

Configuration files for the SOF-ELK VM
GNU General Public License v3.0
1.46k stars 272 forks source link

[SOF-ELK - DEV AND TESTING - ECS] - Syslog Snare not parsing properly #326

Closed BrianMer closed 1 month ago

BrianMer commented 2 months ago

Hi Phil,

I also tested with some Windows machines via syslog TCP/5514, and the result is that fields are not matching the right value in the log. Here are two samples, one from a Windows Server, and one from a Windows 10 machine:

{
  "_index": "logstash-2024.04",
  "_id": "LJ-CGI8Bz6W6pw6KU7n8",
  "_version": 1,
  "_score": 0,
  "_ignored": [
    "event.original.keyword"
  ],
  "_source": {
    "service": {
      "type": "system"
    },
    "event_source": "N/A",
    "event_criticality": "MSWinEventLog 2",
    "@timestamp": "2024-04-26T05:45:24.000Z",
    "event_datetime_system_tz": "Windows Server Update Services",
    "username": "Warning",
    "sof-elk.processing_time": 0.00279593,
    "host": {
      "hostname": "WSUS-WS2022-Sonde.sonde.ad",
      "ip": "192.168.152.1"
    },
    "event": {
      "original": "<12>Apr 26 05:45:24 WSUS-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011Applicatio Apr 26 05:45:24 2024#01110021#011Windows Server Update Services#011N/A#011N/A#011Warning#011WSUS-WS2022-Sonde.sonde.ad#011Base#011#011La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.#0117042#015\n"
    },
    "event_id": "N/A",
    "event_logsource": "Applicatio Apr 26 05:45:24 2024",
    "log": {
      "syslog": {
        "severity": {
          "code": 4
        },
        "facility": {
          "code": 1
        },
        "appname": "N/A",
        "priority": 12
      }
    },
    "@version": "1",
    "event_logtype": "Base",
    "tags": [
      "process_live",
      "syslog",
      "snare_log",
      "_dateparsefailure",
      "_grokparsefailure"
    ],
    "path": "syslog from {\"hostname\":\"WSUS-WS2022-Sonde.sonde.ad\",\"ip\":\"192.168.152.1\"}",
    "snare_counter": 10021,
    "type": "syslog",
    "event_sidtype": "WSUS-WS2022-Sonde.sonde.ad",
    "hostname": "La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.",
    "event_category": "7042"
  },
  "fields": {
    "event_logtype": [
      "Base"
    ],
    "service.type.keyword": [
      "system"
    ],
    "log.syslog.appname": [
      "N/A"
    ],
    "tags.keyword": [
      "process_live",
      "syslog",
      "snare_log",
      "_dateparsefailure",
      "_grokparsefailure"
    ],
    "event_source": [
      "N/A"
    ],
    "host.hostname": [
      "WSUS-WS2022-Sonde.sonde.ad"
    ],
    "type": [
      "syslog"
    ],
    "event_sidtype.keyword": [
      "WSUS-WS2022-Sonde.sonde.ad"
    ],
    "service.type": [
      "system"
    ],
    "username.keyword": [
      "Warning"
    ],
    "host.ip": [
      "192.168.152.1"
    ],
    "path": [
      "syslog from {\"hostname\":\"WSUS-WS2022-Sonde.sonde.ad\",\"ip\":\"192.168.152.1\"}"
    ],
    "hostname": [
      "La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus."
    ],
    "type.keyword": [
      "syslog"
    ],
    "@version": [
      "1"
    ],
    "event_criticality": [
      "MSWinEventLog 2"
    ],
    "log.syslog.priority": [
      12
    ],
    "event_logsource": [
      "Applicatio Apr 26 05:45:24 2024"
    ],
    "event_logsource.keyword": [
      "Applicatio Apr 26 05:45:24 2024"
    ],
    "event_logtype.keyword": [
      "Base"
    ],
    "log.syslog.appname.keyword": [
      "N/A"
    ],
    "event.original": [
      "<12>Apr 26 05:45:24 WSUS-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011Applicatio Apr 26 05:45:24 2024#01110021#011Windows Server Update Services#011N/A#011N/A#011Warning#011WSUS-WS2022-Sonde.sonde.ad#011Base#011#011La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.#0117042#015\n"
    ],
    "event_sidtype": [
      "WSUS-WS2022-Sonde.sonde.ad"
    ],
    "log.syslog.severity.code": [
      4
    ],
    "event_source.keyword": [
      "N/A"
    ],
    "snare_counter": [
      10021
    ],
    "event_datetime_system_tz": [
      "Windows Server Update Services"
    ],
    "event_datetime_system_tz.keyword": [
      "Windows Server Update Services"
    ],
    "event_category": [
      "7042"
    ],
    "tags": [
      "process_live",
      "syslog",
      "snare_log",
      "_dateparsefailure",
      "_grokparsefailure"
    ],
    "event_category.keyword": [
      "7042"
    ],
    "@timestamp": [
      "2024-04-26T05:45:24.000Z"
    ],
    "event_id": [
      "N/A"
    ],
    "sof-elk.processing_time": [
      0.00279593
    ],
    "event_criticality.keyword": [
      "MSWinEventLog 2"
    ],
    "host.hostname.keyword": [
      "WSUS-WS2022-Sonde.sonde.ad"
    ],
    "event_id.keyword": [
      "N/A"
    ],
    "hostname.keyword": [
      "La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus."
    ],
    "log.syslog.facility.code": [
      1
    ],
    "username": [
      "Warning"
    ]
  },
  "ignored_field_values": {
    "event.original.keyword": [
      "<12>Apr 26 05:45:24 WSUS-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011Applicatio Apr 26 05:45:24 2024#01110021#011Windows Server Update Services#011N/A#011N/A#011Warning#011WSUS-WS2022-Sonde.sonde.ad#011Base#011#011La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.#0117042#015\n"
    ]
  }
}
{
  "_index": "logstash-2024.04",
  "_id": "kJ_nFo8Bz6W6pw6KbbQ8",
  "_version": 1,
  "_score": 0,
  "_ignored": [
    "event.original.keyword",
    "hostname.keyword"
  ],
  "_source": {
    "service": {
      "type": "system"
    },
    "event_source": "N/A",
    "event_criticality": "MSWinEventLog 3",
    "@timestamp": "2024-04-25T22:16:46.000Z",
    "event_datetime_system_tz": "Microsoft-Windows-Security-SPP",
    "username": "Error",
    "sof-elk.processing_time": 0.00279164,
    "host": {
      "hostname": "WS-W1022H2-Sonde.sonde.ad",
      "ip": "192.168.152.1"
    },
    "event": {
      "original": "<11>Apr 25 22:16:46 WS-W1022H2-Sonde.sonde.ad MSWinEventLog#0113#011Applicatio Apr 25 22:16:46 2024#0118198#011Microsoft-Windows-Security-SPP#011N/A#011N/A#011Error#011WS-W1022H2-Sonde.sonde.ad#011N/A#011#011Échec de l’activation des licences (slui.exe) avec le code d’erreur suivant :  hr=0x803F7001  Arguments de la ligne de commande :  RuleId=31e71c49-8da7-4a2f-ad92-45d98a1c79ba;Action=AutoActivate;AppId=55c92734-d682-4d71-983e-d6ec3f16059f;SkuId=eb6d346f-1c60-4643-b960-40ec31596c45;NotificationInterval=1440;Trigger=TimerEvent#0113794#015\n"
    },
    "event_id": "N/A",
    "event_logsource": "Applicatio Apr 25 22:16:46 2024",
    "log": {
      "syslog": {
        "severity": {
          "code": 3
        },
        "facility": {
          "code": 1
        },
        "appname": "N/A",
        "priority": 11
      }
    },
    "@version": "1",
    "event_logtype": "N/A",
    "tags": [
      "process_live",
      "syslog",
      "snare_log",
      "_dateparsefailure",
      "_grokparsefailure"
    ],
    "path": "syslog from {\"hostname\":\"WS-W1022H2-Sonde.sonde.ad\",\"ip\":\"192.168.152.1\"}",
    "snare_counter": 8198,
    "type": "syslog",
    "event_sidtype": "WS-W1022H2-Sonde.sonde.ad",
    "hostname": "Échec de l’activation des licences (slui.exe) avec le code d’erreur suivant :  hr=0x803F7001  Arguments de la ligne de commande :  RuleId=31e71c49-8da7-4a2f-ad92-45d98a1c79ba;Action=AutoActivate;AppId=55c92734-d682-4d71-983e-d6ec3f16059f;SkuId=eb6d346f-1c60-4643-b960-40ec31596c45;NotificationInterval=1440;Trigger=TimerEvent",
    "event_category": "3794"
  },
  "fields": {
    "event_logtype": [
      "N/A"
    ],
    "service.type.keyword": [
      "system"
    ],
    "log.syslog.appname": [
      "N/A"
    ],
    "tags.keyword": [
      "process_live",
      "syslog",
      "snare_log",
      "_dateparsefailure",
      "_grokparsefailure"
    ],
    "event_source": [
      "N/A"
    ],
    "host.hostname": [
      "WS-W1022H2-Sonde.sonde.ad"
    ],
    "type": [
      "syslog"
    ],
    "event_sidtype.keyword": [
      "WS-W1022H2-Sonde.sonde.ad"
    ],
    "service.type": [
      "system"
    ],
    "username.keyword": [
      "Error"
    ],
    "host.ip": [
      "192.168.152.1"
    ],
    "path": [
      "syslog from {\"hostname\":\"WS-W1022H2-Sonde.sonde.ad\",\"ip\":\"192.168.152.1\"}"
    ],
    "hostname": [
      "Échec de l’activation des licences (slui.exe) avec le code d’erreur suivant :  hr=0x803F7001  Arguments de la ligne de commande :  RuleId=31e71c49-8da7-4a2f-ad92-45d98a1c79ba;Action=AutoActivate;AppId=55c92734-d682-4d71-983e-d6ec3f16059f;SkuId=eb6d346f-1c60-4643-b960-40ec31596c45;NotificationInterval=1440;Trigger=TimerEvent"
    ],
    "type.keyword": [
      "syslog"
    ],
    "@version": [
      "1"
    ],
    "event_criticality": [
      "MSWinEventLog 3"
    ],
    "log.syslog.priority": [
      11
    ],
    "event_logsource": [
      "Applicatio Apr 25 22:16:46 2024"
    ],
    "event_logsource.keyword": [
      "Applicatio Apr 25 22:16:46 2024"
    ],
    "event_logtype.keyword": [
      "N/A"
    ],
    "log.syslog.appname.keyword": [
      "N/A"
    ],
    "event.original": [
      "<11>Apr 25 22:16:46 WS-W1022H2-Sonde.sonde.ad MSWinEventLog#0113#011Applicatio Apr 25 22:16:46 2024#0118198#011Microsoft-Windows-Security-SPP#011N/A#011N/A#011Error#011WS-W1022H2-Sonde.sonde.ad#011N/A#011#011Échec de l’activation des licences (slui.exe) avec le code d’erreur suivant :  hr=0x803F7001  Arguments de la ligne de commande :  RuleId=31e71c49-8da7-4a2f-ad92-45d98a1c79ba;Action=AutoActivate;AppId=55c92734-d682-4d71-983e-d6ec3f16059f;SkuId=eb6d346f-1c60-4643-b960-40ec31596c45;NotificationInterval=1440;Trigger=TimerEvent#0113794#015\n"
    ],
    "event_sidtype": [
      "WS-W1022H2-Sonde.sonde.ad"
    ],
    "log.syslog.severity.code": [
      3
    ],
    "event_source.keyword": [
      "N/A"
    ],
    "snare_counter": [
      8198
    ],
    "event_datetime_system_tz": [
      "Microsoft-Windows-Security-SPP"
    ],
    "event_datetime_system_tz.keyword": [
      "Microsoft-Windows-Security-SPP"
    ],
    "event_category": [
      "3794"
    ],
    "tags": [
      "process_live",
      "syslog",
      "snare_log",
      "_dateparsefailure",
      "_grokparsefailure"
    ],
    "event_category.keyword": [
      "3794"
    ],
    "@timestamp": [
      "2024-04-25T22:16:46.000Z"
    ],
    "event_id": [
      "N/A"
    ],
    "sof-elk.processing_time": [
      0.00279164
    ],
    "event_criticality.keyword": [
      "MSWinEventLog 3"
    ],
    "host.hostname.keyword": [
      "WS-W1022H2-Sonde.sonde.ad"
    ],
    "event_id.keyword": [
      "N/A"
    ],
    "log.syslog.facility.code": [
      1
    ],
    "username": [
      "Error"
    ]
  },
  "ignored_field_values": {
    "event.original.keyword": [
      "<11>Apr 25 22:16:46 WS-W1022H2-Sonde.sonde.ad MSWinEventLog#0113#011Applicatio Apr 25 22:16:46 2024#0118198#011Microsoft-Windows-Security-SPP#011N/A#011N/A#011Error#011WS-W1022H2-Sonde.sonde.ad#011N/A#011#011Échec de l’activation des licences (slui.exe) avec le code d’erreur suivant :  hr=0x803F7001  Arguments de la ligne de commande :  RuleId=31e71c49-8da7-4a2f-ad92-45d98a1c79ba;Action=AutoActivate;AppId=55c92734-d682-4d71-983e-d6ec3f16059f;SkuId=eb6d346f-1c60-4643-b960-40ec31596c45;NotificationInterval=1440;Trigger=TimerEvent#0113794#015\n"
    ],
    "hostname.keyword": [
      "Échec de l’activation des licences (slui.exe) avec le code d’erreur suivant :  hr=0x803F7001  Arguments de la ligne de commande :  RuleId=31e71c49-8da7-4a2f-ad92-45d98a1c79ba;Action=AutoActivate;AppId=55c92734-d682-4d71-983e-d6ec3f16059f;SkuId=eb6d346f-1c60-4643-b960-40ec31596c45;NotificationInterval=1440;Trigger=TimerEvent"
    ]
  }
}
BrianMer commented 2 months ago

And here is one from Filebeat to Logstash TCP/5044:

{
  "_index": "logstash-2024.04",
  "_id": "0J-BGY8Bz6W6pw6KAbtI",
  "_version": 1,
  "_score": 0,
  "_ignored": [
    "message.keyword",
    "event.original.keyword"
  ],
  "_source": {
    "ecs": {
      "version": "8.0.0"
    },
    "message": "MSWinEventLog#0112#011Applicatio Apr 26 10:23:17 2024#0111202#011SceCli#011N/A#011N/A#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Les stratégies de sécurité ont été propagées avec avertissement. 0x534 : Le mappage entre les noms de compte et les ID de sécurité n’a pas été effectué.    L’Aide avancée pour ce problème est disponible sur https://support.microsoft.com. Recherchez \"troubleshooting 1202 events\".     L’erreur 0x534 se produit lorsqu’un compte utilisateur dans un ou plusieurs objets de stratégie de groupe (GPO) n’a pas pu être résolus en identifiant de sécurité. Cette erreur peut être causée par un compte utilisateur incorrect ou un compte utilisateur supprimé référencé soit dans les groupes Droits des Utilisateurs, soit dans une branche de groupes restreints GPO. Pour résoudre cet événement, contacter un administrateur dans le domaine pour effectuer les actions suivantes :    1. Identifiez les comptes n’ayant pas pu être résolus en identifiant de sécurité :    À partir de la ligne de commande, entrez : FIND /I \"introuvable\"  %SYSTEMROOT%\\Security\\Logs\\winlogon.log    La chaîne précédant \"introuvable\" dans la sortie FIND identifie les noms de compte ayant un problème.    Exemple : RosalieMignon introuvable.    Dans ce cas, le SID pour le nom d’utilisateur \"RosalieMignon\" n’a pas pu être déterminé. Ceci se produit le plus souvent en raison d’un compte supprimé, renommé ou orthographié différemment (par exemple \"RosaliMignon\").     2. Utilisez RSoP pour identifier les Droits des Utilisateurs, les groupes restreints et les GPO source spécifiques contenant les comptes ayant un problème :    a. Démarrer -> Exécuter -> RSoP.msc  b. Consultez les résultats de Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\User Rights Assignment et Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\Restricted Groups pour toutes erreurs marquées d’un X rouge.  c. Pour tout Droit utilisateur ou Groupe restreint marqué d’un X rouge , le GPO correspondant contenant les paramètres de stratégie du problème est listé sous la colonne nommé \"GPO source\". Notez les Droits utilisateur spécifiques, les Groupes restreints et les sources GPO génératrices d’erreurs.     3. Supprimez les comptes non résolus de la stratégie de groupe    a. Démarrer -> Exécutez -> MMC.EXE  b. À partir du menu fichier, sélectionnez \"Ajouter/Supprimer un composant logiciel enfichable\"  c. À partir de la boîte de dialogue \"Ajouter/Supprimer un composant logiciel enfichable\" sélectionnez \"Ajouter...\"  d. Dans la boîte de dialogue \"Ajout d’un composant logiciel enfichable autonome\" sélectionnez \"Stratégie de groupe\" et cliquez \"Ajouter\"  e. Dans la boîte de dialogue \"Sélectionner l’Objet stratégie de groupe\" cliquez sur le bouton \"Parcourir\".  f. Dans la boîte de dialogue \"Parcourir pour un Objet stratégie de groupe\" choisissez l’onglet \"Tout\"  g. Pour chaque GPO source identifiée lors de l’étape 2, corrigez les Droits utilisateur ou Groupes restreints marqués d’un X rouge lors de cette étape. Ces Droits utilisateur ou Groupes restreints peuvent être corrigés en supprimant ou corrigeant toutes références aux comptes ayant un problème, identifiés à l’étape 1.#01118288#015",
    "@timestamp": "2024-04-26T08:23:17.000Z",
    "sof-elk.processing_time": 0.00093198,
    "host": {
      "architecture": "x86_64",
      "mac": [
        "BC-24-11-12-C4-4C",
        "BC-24-11-46-A4-61",
        "BC-24-11-5D-2C-32",
        "BC-24-11-A3-6B-1D"
      ],
      "name": "relai-log-srv",
      "id": "d71e290da28048c0bc100945fc378362",
      "hostname": "relai-log-srv",
      "containerized": false,
      "ip": [
        "10.3.0.196",
        "fe80::be24:11ff:fea3:6b1d",
        "192.168.151.2",
        "fe80::be24:11ff:fe12:c44c",
        "192.168.152.1",
        "fe80::be24:11ff:fe46:a461",
        "192.168.149.2",
        "fe80::be24:11ff:fe5d:2c32"
      ],
      "os": {
        "kernel": "4.18.0-513.24.1.el8_9.x86_64",
        "platform": "rocky",
        "codename": "Green Obsidian",
        "name": "Rocky Linux",
        "type": "linux",
        "version": "8.9 (Green Obsidian)",
        "family": "redhat"
      }
    },
    "event": {
      "severity": 4,
      "original": "MSWinEventLog#0112#011Applicatio Apr 26 10:23:17 2024#0111202#011SceCli#011N/A#011N/A#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Les stratégies de sécurité ont été propagées avec avertissement. 0x534 : Le mappage entre les noms de compte et les ID de sécurité n’a pas été effectué.    L’Aide avancée pour ce problème est disponible sur https://support.microsoft.com. Recherchez \"troubleshooting 1202 events\".     L’erreur 0x534 se produit lorsqu’un compte utilisateur dans un ou plusieurs objets de stratégie de groupe (GPO) n’a pas pu être résolus en identifiant de sécurité. Cette erreur peut être causée par un compte utilisateur incorrect ou un compte utilisateur supprimé référencé soit dans les groupes Droits des Utilisateurs, soit dans une branche de groupes restreints GPO. Pour résoudre cet événement, contacter un administrateur dans le domaine pour effectuer les actions suivantes :    1. Identifiez les comptes n’ayant pas pu être résolus en identifiant de sécurité :    À partir de la ligne de commande, entrez : FIND /I \"introuvable\"  %SYSTEMROOT%\\Security\\Logs\\winlogon.log    La chaîne précédant \"introuvable\" dans la sortie FIND identifie les noms de compte ayant un problème.    Exemple : RosalieMignon introuvable.    Dans ce cas, le SID pour le nom d’utilisateur \"RosalieMignon\" n’a pas pu être déterminé. Ceci se produit le plus souvent en raison d’un compte supprimé, renommé ou orthographié différemment (par exemple \"RosaliMignon\").     2. Utilisez RSoP pour identifier les Droits des Utilisateurs, les groupes restreints et les GPO source spécifiques contenant les comptes ayant un problème :    a. Démarrer -> Exécuter -> RSoP.msc  b. Consultez les résultats de Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\User Rights Assignment et Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\Restricted Groups pour toutes erreurs marquées d’un X rouge.  c. Pour tout Droit utilisateur ou Groupe restreint marqué d’un X rouge , le GPO correspondant contenant les paramètres de stratégie du problème est listé sous la colonne nommé \"GPO source\". Notez les Droits utilisateur spécifiques, les Groupes restreints et les sources GPO génératrices d’erreurs.     3. Supprimez les comptes non résolus de la stratégie de groupe    a. Démarrer -> Exécutez -> MMC.EXE  b. À partir du menu fichier, sélectionnez \"Ajouter/Supprimer un composant logiciel enfichable\"  c. À partir de la boîte de dialogue \"Ajouter/Supprimer un composant logiciel enfichable\" sélectionnez \"Ajouter...\"  d. Dans la boîte de dialogue \"Ajout d’un composant logiciel enfichable autonome\" sélectionnez \"Stratégie de groupe\" et cliquez \"Ajouter\"  e. Dans la boîte de dialogue \"Sélectionner l’Objet stratégie de groupe\" cliquez sur le bouton \"Parcourir\".  f. Dans la boîte de dialogue \"Parcourir pour un Objet stratégie de groupe\" choisissez l’onglet \"Tout\"  g. Pour chaque GPO source identifiée lors de l’étape 2, corrigez les Droits utilisateur ou Groupes restreints marqués d’un X rouge lors de cette étape. Ces Droits utilisateur ou Groupes restreints peuvent être corrigés en supprimant ou corrigeant toutes références aux comptes ayant un problème, identifiés à l’étape 1.#01118288#015"
    },
    "syslog": {
      "facility": 1,
      "priority": 12,
      "severity_label": "Warning",
      "facility_label": "user-level"
    },
    "log": {
      "source": {
        "address": "192.168.151.1:59392"
      }
    },
    "@version": "1",
    "hostname": "DC-WS2022-Sonde.sonde.ad",
    "tags": [
      "process_archive",
      "filebeat",
      "beats_input_codec_plain_applied"
    ],
    "input": {
      "type": "syslog"
    },
    "agent": {
      "id": "156e0c6e-7748-4b13-9ad9-dc0a4a2dd575",
      "ephemeral_id": "4c718a07-0856-49dc-90e6-9503f73b7d54",
      "type": "filebeat",
      "version": "8.13.2",
      "name": "relai-LOG-SRV"
    }
  },
  "fields": {
    "agent.version.keyword": [
      "8.13.2"
    ],
    "host.architecture.keyword": [
      "x86_64"
    ],
    "syslog.severity_label.keyword": [
      "Warning"
    ],
    "host.name.keyword": [
      "relai-log-srv"
    ],
    "host.hostname": [
      "relai-log-srv"
    ],
    "host.mac": [
      "BC-24-11-12-C4-4C",
      "BC-24-11-46-A4-61",
      "BC-24-11-5D-2C-32",
      "BC-24-11-A3-6B-1D"
    ],
    "hostname": [
      "DC-WS2022-Sonde.sonde.ad"
    ],
    "ecs.version.keyword": [
      "8.0.0"
    ],
    "host.os.version": [
      "8.9 (Green Obsidian)"
    ],
    "host.os.name": [
      "Rocky Linux"
    ],
    "agent.name": [
      "relai-LOG-SRV"
    ],
    "host.id.keyword": [
      "d71e290da28048c0bc100945fc378362"
    ],
    "host.name": [
      "relai-log-srv"
    ],
    "host.os.version.keyword": [
      "8.9 (Green Obsidian)"
    ],
    "event.severity": [
      4
    ],
    "event.original": [
      "MSWinEventLog#0112#011Applicatio Apr 26 10:23:17 2024#0111202#011SceCli#011N/A#011N/A#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Les stratégies de sécurité ont été propagées avec avertissement. 0x534 : Le mappage entre les noms de compte et les ID de sécurité n’a pas été effectué.    L’Aide avancée pour ce problème est disponible sur https://support.microsoft.com. Recherchez \"troubleshooting 1202 events\".     L’erreur 0x534 se produit lorsqu’un compte utilisateur dans un ou plusieurs objets de stratégie de groupe (GPO) n’a pas pu être résolus en identifiant de sécurité. Cette erreur peut être causée par un compte utilisateur incorrect ou un compte utilisateur supprimé référencé soit dans les groupes Droits des Utilisateurs, soit dans une branche de groupes restreints GPO. Pour résoudre cet événement, contacter un administrateur dans le domaine pour effectuer les actions suivantes :    1. Identifiez les comptes n’ayant pas pu être résolus en identifiant de sécurité :    À partir de la ligne de commande, entrez : FIND /I \"introuvable\"  %SYSTEMROOT%\\Security\\Logs\\winlogon.log    La chaîne précédant \"introuvable\" dans la sortie FIND identifie les noms de compte ayant un problème.    Exemple : RosalieMignon introuvable.    Dans ce cas, le SID pour le nom d’utilisateur \"RosalieMignon\" n’a pas pu être déterminé. Ceci se produit le plus souvent en raison d’un compte supprimé, renommé ou orthographié différemment (par exemple \"RosaliMignon\").     2. Utilisez RSoP pour identifier les Droits des Utilisateurs, les groupes restreints et les GPO source spécifiques contenant les comptes ayant un problème :    a. Démarrer -> Exécuter -> RSoP.msc  b. Consultez les résultats de Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\User Rights Assignment et Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\Restricted Groups pour toutes erreurs marquées d’un X rouge.  c. Pour tout Droit utilisateur ou Groupe restreint marqué d’un X rouge , le GPO correspondant contenant les paramètres de stratégie du problème est listé sous la colonne nommé \"GPO source\". Notez les Droits utilisateur spécifiques, les Groupes restreints et les sources GPO génératrices d’erreurs.     3. Supprimez les comptes non résolus de la stratégie de groupe    a. Démarrer -> Exécutez -> MMC.EXE  b. À partir du menu fichier, sélectionnez \"Ajouter/Supprimer un composant logiciel enfichable\"  c. À partir de la boîte de dialogue \"Ajouter/Supprimer un composant logiciel enfichable\" sélectionnez \"Ajouter...\"  d. Dans la boîte de dialogue \"Ajout d’un composant logiciel enfichable autonome\" sélectionnez \"Stratégie de groupe\" et cliquez \"Ajouter\"  e. Dans la boîte de dialogue \"Sélectionner l’Objet stratégie de groupe\" cliquez sur le bouton \"Parcourir\".  f. Dans la boîte de dialogue \"Parcourir pour un Objet stratégie de groupe\" choisissez l’onglet \"Tout\"  g. Pour chaque GPO source identifiée lors de l’étape 2, corrigez les Droits utilisateur ou Groupes restreints marqués d’un X rouge lors de cette étape. Ces Droits utilisateur ou Groupes restreints peuvent être corrigés en supprimant ou corrigeant toutes références aux comptes ayant un problème, identifiés à l’étape 1.#01118288#015"
    ],
    "host.os.type": [
      "linux"
    ],
    "agent.id.keyword": [
      "156e0c6e-7748-4b13-9ad9-dc0a4a2dd575"
    ],
    "input.type": [
      "syslog"
    ],
    "tags": [
      "process_archive",
      "filebeat",
      "beats_input_codec_plain_applied"
    ],
    "host.architecture": [
      "x86_64"
    ],
    "agent.id": [
      "156e0c6e-7748-4b13-9ad9-dc0a4a2dd575"
    ],
    "ecs.version": [
      "8.0.0"
    ],
    "host.containerized": [
      false
    ],
    "log.source.address": [
      "192.168.151.1:59392"
    ],
    "sof-elk.processing_time": [
      0.00093198
    ],
    "host.hostname.keyword": [
      "relai-log-srv"
    ],
    "agent.version": [
      "8.13.2"
    ],
    "host.os.family": [
      "redhat"
    ],
    "hostname.keyword": [
      "DC-WS2022-Sonde.sonde.ad"
    ],
    "input.type.keyword": [
      "syslog"
    ],
    "tags.keyword": [
      "process_archive",
      "filebeat",
      "beats_input_codec_plain_applied"
    ],
    "syslog.facility": [
      1
    ],
    "host.ip": [
      "10.3.0.196",
      "fe80::be24:11ff:fea3:6b1d",
      "192.168.151.2",
      "fe80::be24:11ff:fe12:c44c",
      "192.168.152.1",
      "fe80::be24:11ff:fe46:a461",
      "192.168.149.2",
      "fe80::be24:11ff:fe5d:2c32"
    ],
    "agent.type": [
      "filebeat"
    ],
    "host.os.kernel.keyword": [
      "4.18.0-513.24.1.el8_9.x86_64"
    ],
    "host.os.kernel": [
      "4.18.0-513.24.1.el8_9.x86_64"
    ],
    "@version": [
      "1"
    ],
    "host.os.name.keyword": [
      "Rocky Linux"
    ],
    "host.id": [
      "d71e290da28048c0bc100945fc378362"
    ],
    "agent.type.keyword": [
      "filebeat"
    ],
    "agent.ephemeral_id.keyword": [
      "4c718a07-0856-49dc-90e6-9503f73b7d54"
    ],
    "host.os.codename.keyword": [
      "Green Obsidian"
    ],
    "host.mac.keyword": [
      "BC-24-11-12-C4-4C",
      "BC-24-11-46-A4-61",
      "BC-24-11-5D-2C-32",
      "BC-24-11-A3-6B-1D"
    ],
    "agent.name.keyword": [
      "relai-LOG-SRV"
    ],
    "syslog.priority": [
      12
    ],
    "host.os.codename": [
      "Green Obsidian"
    ],
    "message": [
      "MSWinEventLog#0112#011Applicatio Apr 26 10:23:17 2024#0111202#011SceCli#011N/A#011N/A#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Les stratégies de sécurité ont été propagées avec avertissement. 0x534 : Le mappage entre les noms de compte et les ID de sécurité n’a pas été effectué.    L’Aide avancée pour ce problème est disponible sur https://support.microsoft.com. Recherchez \"troubleshooting 1202 events\".     L’erreur 0x534 se produit lorsqu’un compte utilisateur dans un ou plusieurs objets de stratégie de groupe (GPO) n’a pas pu être résolus en identifiant de sécurité. Cette erreur peut être causée par un compte utilisateur incorrect ou un compte utilisateur supprimé référencé soit dans les groupes Droits des Utilisateurs, soit dans une branche de groupes restreints GPO. Pour résoudre cet événement, contacter un administrateur dans le domaine pour effectuer les actions suivantes :    1. Identifiez les comptes n’ayant pas pu être résolus en identifiant de sécurité :    À partir de la ligne de commande, entrez : FIND /I \"introuvable\"  %SYSTEMROOT%\\Security\\Logs\\winlogon.log    La chaîne précédant \"introuvable\" dans la sortie FIND identifie les noms de compte ayant un problème.    Exemple : RosalieMignon introuvable.    Dans ce cas, le SID pour le nom d’utilisateur \"RosalieMignon\" n’a pas pu être déterminé. Ceci se produit le plus souvent en raison d’un compte supprimé, renommé ou orthographié différemment (par exemple \"RosaliMignon\").     2. Utilisez RSoP pour identifier les Droits des Utilisateurs, les groupes restreints et les GPO source spécifiques contenant les comptes ayant un problème :    a. Démarrer -> Exécuter -> RSoP.msc  b. Consultez les résultats de Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\User Rights Assignment et Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\Restricted Groups pour toutes erreurs marquées d’un X rouge.  c. Pour tout Droit utilisateur ou Groupe restreint marqué d’un X rouge , le GPO correspondant contenant les paramètres de stratégie du problème est listé sous la colonne nommé \"GPO source\". Notez les Droits utilisateur spécifiques, les Groupes restreints et les sources GPO génératrices d’erreurs.     3. Supprimez les comptes non résolus de la stratégie de groupe    a. Démarrer -> Exécutez -> MMC.EXE  b. À partir du menu fichier, sélectionnez \"Ajouter/Supprimer un composant logiciel enfichable\"  c. À partir de la boîte de dialogue \"Ajouter/Supprimer un composant logiciel enfichable\" sélectionnez \"Ajouter...\"  d. Dans la boîte de dialogue \"Ajout d’un composant logiciel enfichable autonome\" sélectionnez \"Stratégie de groupe\" et cliquez \"Ajouter\"  e. Dans la boîte de dialogue \"Sélectionner l’Objet stratégie de groupe\" cliquez sur le bouton \"Parcourir\".  f. Dans la boîte de dialogue \"Parcourir pour un Objet stratégie de groupe\" choisissez l’onglet \"Tout\"  g. Pour chaque GPO source identifiée lors de l’étape 2, corrigez les Droits utilisateur ou Groupes restreints marqués d’un X rouge lors de cette étape. Ces Droits utilisateur ou Groupes restreints peuvent être corrigés en supprimant ou corrigeant toutes références aux comptes ayant un problème, identifiés à l’étape 1.#01118288#015"
    ],
    "host.os.family.keyword": [
      "redhat"
    ],
    "@timestamp": [
      "2024-04-26T08:23:17.000Z"
    ],
    "host.os.type.keyword": [
      "linux"
    ],
    "syslog.severity_label": [
      "Warning"
    ],
    "host.os.platform": [
      "rocky"
    ],
    "host.os.platform.keyword": [
      "rocky"
    ],
    "agent.ephemeral_id": [
      "4c718a07-0856-49dc-90e6-9503f73b7d54"
    ],
    "syslog.facility_label": [
      "user-level"
    ],
    "log.source.address.keyword": [
      "192.168.151.1:59392"
    ],
    "syslog.facility_label.keyword": [
      "user-level"
    ]
  },
  "ignored_field_values": {
    "message.keyword": [
      "MSWinEventLog#0112#011Applicatio Apr 26 10:23:17 2024#0111202#011SceCli#011N/A#011N/A#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Les stratégies de sécurité ont été propagées avec avertissement. 0x534 : Le mappage entre les noms de compte et les ID de sécurité n’a pas été effectué.    L’Aide avancée pour ce problème est disponible sur https://support.microsoft.com. Recherchez \"troubleshooting 1202 events\".     L’erreur 0x534 se produit lorsqu’un compte utilisateur dans un ou plusieurs objets de stratégie de groupe (GPO) n’a pas pu être résolus en identifiant de sécurité. Cette erreur peut être causée par un compte utilisateur incorrect ou un compte utilisateur supprimé référencé soit dans les groupes Droits des Utilisateurs, soit dans une branche de groupes restreints GPO. Pour résoudre cet événement, contacter un administrateur dans le domaine pour effectuer les actions suivantes :    1. Identifiez les comptes n’ayant pas pu être résolus en identifiant de sécurité :    À partir de la ligne de commande, entrez : FIND /I \"introuvable\"  %SYSTEMROOT%\\Security\\Logs\\winlogon.log    La chaîne précédant \"introuvable\" dans la sortie FIND identifie les noms de compte ayant un problème.    Exemple : RosalieMignon introuvable.    Dans ce cas, le SID pour le nom d’utilisateur \"RosalieMignon\" n’a pas pu être déterminé. Ceci se produit le plus souvent en raison d’un compte supprimé, renommé ou orthographié différemment (par exemple \"RosaliMignon\").     2. Utilisez RSoP pour identifier les Droits des Utilisateurs, les groupes restreints et les GPO source spécifiques contenant les comptes ayant un problème :    a. Démarrer -> Exécuter -> RSoP.msc  b. Consultez les résultats de Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\User Rights Assignment et Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\Restricted Groups pour toutes erreurs marquées d’un X rouge.  c. Pour tout Droit utilisateur ou Groupe restreint marqué d’un X rouge , le GPO correspondant contenant les paramètres de stratégie du problème est listé sous la colonne nommé \"GPO source\". Notez les Droits utilisateur spécifiques, les Groupes restreints et les sources GPO génératrices d’erreurs.     3. Supprimez les comptes non résolus de la stratégie de groupe    a. Démarrer -> Exécutez -> MMC.EXE  b. À partir du menu fichier, sélectionnez \"Ajouter/Supprimer un composant logiciel enfichable\"  c. À partir de la boîte de dialogue \"Ajouter/Supprimer un composant logiciel enfichable\" sélectionnez \"Ajouter...\"  d. Dans la boîte de dialogue \"Ajout d’un composant logiciel enfichable autonome\" sélectionnez \"Stratégie de groupe\" et cliquez \"Ajouter\"  e. Dans la boîte de dialogue \"Sélectionner l’Objet stratégie de groupe\" cliquez sur le bouton \"Parcourir\".  f. Dans la boîte de dialogue \"Parcourir pour un Objet stratégie de groupe\" choisissez l’onglet \"Tout\"  g. Pour chaque GPO source identifiée lors de l’étape 2, corrigez les Droits utilisateur ou Groupes restreints marqués d’un X rouge lors de cette étape. Ces Droits utilisateur ou Groupes restreints peuvent être corrigés en supprimant ou corrigeant toutes références aux comptes ayant un problème, identifiés à l’étape 1.#01118288#015"
    ],
    "event.original.keyword": [
      "MSWinEventLog#0112#011Applicatio Apr 26 10:23:17 2024#0111202#011SceCli#011N/A#011N/A#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Les stratégies de sécurité ont été propagées avec avertissement. 0x534 : Le mappage entre les noms de compte et les ID de sécurité n’a pas été effectué.    L’Aide avancée pour ce problème est disponible sur https://support.microsoft.com. Recherchez \"troubleshooting 1202 events\".     L’erreur 0x534 se produit lorsqu’un compte utilisateur dans un ou plusieurs objets de stratégie de groupe (GPO) n’a pas pu être résolus en identifiant de sécurité. Cette erreur peut être causée par un compte utilisateur incorrect ou un compte utilisateur supprimé référencé soit dans les groupes Droits des Utilisateurs, soit dans une branche de groupes restreints GPO. Pour résoudre cet événement, contacter un administrateur dans le domaine pour effectuer les actions suivantes :    1. Identifiez les comptes n’ayant pas pu être résolus en identifiant de sécurité :    À partir de la ligne de commande, entrez : FIND /I \"introuvable\"  %SYSTEMROOT%\\Security\\Logs\\winlogon.log    La chaîne précédant \"introuvable\" dans la sortie FIND identifie les noms de compte ayant un problème.    Exemple : RosalieMignon introuvable.    Dans ce cas, le SID pour le nom d’utilisateur \"RosalieMignon\" n’a pas pu être déterminé. Ceci se produit le plus souvent en raison d’un compte supprimé, renommé ou orthographié différemment (par exemple \"RosaliMignon\").     2. Utilisez RSoP pour identifier les Droits des Utilisateurs, les groupes restreints et les GPO source spécifiques contenant les comptes ayant un problème :    a. Démarrer -> Exécuter -> RSoP.msc  b. Consultez les résultats de Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\User Rights Assignment et Computer Configuration\\Windows Settings\\Security Settings\\Local Policies\\Restricted Groups pour toutes erreurs marquées d’un X rouge.  c. Pour tout Droit utilisateur ou Groupe restreint marqué d’un X rouge , le GPO correspondant contenant les paramètres de stratégie du problème est listé sous la colonne nommé \"GPO source\". Notez les Droits utilisateur spécifiques, les Groupes restreints et les sources GPO génératrices d’erreurs.     3. Supprimez les comptes non résolus de la stratégie de groupe    a. Démarrer -> Exécutez -> MMC.EXE  b. À partir du menu fichier, sélectionnez \"Ajouter/Supprimer un composant logiciel enfichable\"  c. À partir de la boîte de dialogue \"Ajouter/Supprimer un composant logiciel enfichable\" sélectionnez \"Ajouter...\"  d. Dans la boîte de dialogue \"Ajout d’un composant logiciel enfichable autonome\" sélectionnez \"Stratégie de groupe\" et cliquez \"Ajouter\"  e. Dans la boîte de dialogue \"Sélectionner l’Objet stratégie de groupe\" cliquez sur le bouton \"Parcourir\".  f. Dans la boîte de dialogue \"Parcourir pour un Objet stratégie de groupe\" choisissez l’onglet \"Tout\"  g. Pour chaque GPO source identifiée lors de l’étape 2, corrigez les Droits utilisateur ou Groupes restreints marqués d’un X rouge lors de cette étape. Ces Droits utilisateur ou Groupes restreints peuvent être corrigés en supprimant ou corrigeant toutes références aux comptes ayant un problème, identifiés à l’étape 1.#01118288#015"
    ]
  }
}
philhagen commented 2 months ago

is the system running the Snare forwarder using a custom configuration, by chance? The value reflected in event.original doesn't seem to match the spec. In your samples, the event_logsource looks like a truncation of Application and it is missing the snare_counter field between what I suspect is Application and the date value.

(Also note that the #011 strings are a syslogd replacement for Snare's tab separators, so depending on where you observe the log event, it could be a literal tab or the replacement.)

The above commit didn't fix this, BTW. Still trying to get to the bottom of it.

BrianMer commented 2 months ago

I am using Nxlog on Windows hosts with that config:

########################################
# Modules                              #
########################################
<Extension converter>
    Module              xm_charconv
    AutodetectCharsets  utf-8, euc-jp, utf-16, utf-32, iso8859-2
</Extension>

<Input in_msvistalog>
 Module im_msvistalog
<QueryXML>
   <QueryList>                     
     <Query Id="0">  
        <Select Path="Application">*[System[(Level=1 or Level=2 or Level=3)]]</Select>
        <Select Path="Security">*[System[(Level=1 or Level=2 or Level=3)]]</Select>
        <Select Path="System">*[System[(Level=1 or Level=2 or Level=3)]]</Select>
     </Query>
   </QueryList>
</QueryXML>
 Exec                convert_fields("auto", "utf-8");
</Input>

<Output out_mssyslog>
    Module      om_tcp    
    Host        192.168.147.200
    Port        514
    Exec        to_syslog_snare();
</Output>

 <Route eventlog_syslog>
    Path in_msvistalog => out_mssyslog
</Route>
philhagen commented 2 months ago

thanks! this is interesting - I'm thinking there may be something funky with either NXLog's processing since even their own examples show the MSWinEventLog is not truncated, as you're seeing. I will have to try with some native Snare shipping on my end to see if I can replicate that on pure Snare, then we can figure out if NXLog has anything to do with it.

<11>Nov 1 18:52:56 NXLOG-AGENT MSWinEventLog 3 Security 2 Thu Nov 01 18:52:56 2018 4625 Microsoft-Windows-Security-Auditing N/A N/A Fai...

BrianMer commented 2 months ago

FYI, this is one of the original event in my log collector from the NXLog agents:

Apr 30 17:57:17 WSUS-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011Application#01129#011Tue Apr 30 17:57:17 2024#01110021#011Windows Server Update Services#011N/A#011N/A#011Warning#011WSUS-WS2022-Sonde.sonde.ad#011Base#011#011La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.#0117536#015

As you can see, the Application is not truncated.

philhagen commented 2 months ago

ooooh..... ok I might be stumped. I wonder where that is being truncated. Perhaps an odd question, but are you able to create a pcap file with one or a few of the messages being sent to TCP/5514? I'm 95% certain that the message is somehow being transmitted with the truncated content since the event.original fields reflects that. However, if we can confirm that the inbound message is out of spec, it would rule out any oddities of the early logstash pipeline that triggers prior to the SOF-ELK parsers.

(just for my awareness/memory, the truncated bytes are n#01129.)

BrianMer commented 2 months ago

OK it seems that you are right. Here is a network capture betweek my relay and the SOF-ELK VM.

sof-elk-nxlog-syslog.txt

The message is truncated before being parsed by SOF-ELK...

The thing that I do not understand is that, I do not do any parsing on the Syslog messages, I just collect, and transmit to SOF-ELK through my relay...

philhagen commented 2 months ago

Interesting! While not a complete answer, this is very helpful. I'm not sure what the culprit may be, but thankful it's not a phantom truncation in the parser or underlying code!

Given that discovery, though, are you ok if we close this issue? We can always re-open it if something is later found to be parser-related.

BrianMer commented 2 months ago

For once, I do not agree with closing this issue :smile:.

I just retested with a full log from my collector directly into /logstash/syslog in the VM, and I encountered errors which prevent the log to be parsed, and displayed.

Here is the log from Logstash:

mai 03 08:52:53 sof-elk logstash[695]: [2024-05-03T08:52:53,028][WARN ][logstash.outputs.elasticsearch][main][335b93ee78d360e7394de440a332999b5d26c148ee6ea37e0944c3577ac0053a] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"logstash-2024.04", :routing=>nil}, {"event_logsource"=>"10021", "event_criticality"=>"Apr 25 17:44:00 2024", "ecs"=>{"version"=>"8.0.0"}, "sof-elk.processing_time"=>0.00507188, "snare_counter"=>"Windows Server Update Services", "@timestamp"=>2024-04-25T17:44:00.000Z, "@version"=>"1", "received_at"=>"2024-05-03T08:52:41.427Z", "event_datetime_system_tz"=>"N/A", "event_logtype"=>"La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.", "hostname"=>"6988", "event_sidtype"=>"Base", "event_id"=>"N/A", "agent"=>{"id"=>"00a4e106-3497-4193-a785-476ebe8d468c", "type"=>"filebeat", "ephemeral_id"=>"cb2d60c9-f9b7-4685-b960-41b07c7f2f04", "version"=>"8.13.2", "name"=>"sof-elk"}, "username"=>"WSUS-WS2022-Sonde.sonde.ad", "host"=>{"name"=>"sof-elk"}, "event"=>{"original"=>"Apr 25 17:44:00 WSUS-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011Application#0119#011Thu Apr 25 17:44:00 2024#01110021#011Windows Server Update Services#011N/A#011N/A#011Warning#011WSUS-WS2022-Sonde.sonde.ad#011Base#011#011La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.#0116988#015"}, "tags"=>["process_archive", "filebeat", "beats_input_codec_plain_applied", "snare_log", "_gpfail", "fail_sl03", "_dateparsefailure", "_grokparsefailure"], "path"=>"filebeat: sof-elk:/logstash/syslog/log_wsus_test_application.log", "type"=>"syslog", "log"=>{"offset"=>0, "file"=>{"path"=>"/logstash/syslog/log_wsus_test_application.log", "inode"=>"68807910", "device_id"=>"64768"}, "syslog"=>{"appname"=>"Warning", "hostname"=>"wsus-ws2022-sonde.sonde.ad"}}, "event_source"=>"Warning", "input"=>{"type"=>"filestream"}}], :response=>{"index"=>{"status"=>400, "error"=>{"type"=>"document_parsing_exception", "reason"=>"[1:48] failed to parse field [event_criticality] of type [long] in document with id '3NSoPY8BMTUrCuluBgOj'. Preview of field's value: 'Apr 25 17:44:00 2024'", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"For input string: \"Apr 25 17:44:00 2024\""}}}}}

Here is the full log:

Apr 25 17:44:00 WSUS-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011Application#0119#011Thu Apr 25 17:44:00 2024#01110021#011Windows Server Update Services#011N/A#011N/A#011Warning#011WSUS-WS2022-Sonde.sonde.ad#011Base#011#011La dernière synchronisation du catalogue a été effectuée il y a 1 jours ou plus.#0116988#015
philhagen commented 2 months ago

aha!! great find - I see the problem and am working on a solution.

philhagen commented 2 months ago

OK - thanks for your patience. This should be ready for validation now with commit 563d25f5fce2854da4a44d7facf76833720f0ced.

BrianMer commented 1 month ago

It seems like this is working:

{
  "_index": "logstash-2024.04",
  "_id": "ItRdTo8BMTUrCuluj3g0",
  "_version": 1,
  "_score": 0,
  "_ignored": [
    "event.original.keyword",
    "message.keyword"
  ],
  "_source": {
    "event_datetime_system_tz": "2024-04-28T16:53:15.000Z",
    "log": {
      "offset": 0,
      "file": {
        "path": "/logstash/syslog/log_dc_test_system_after_update.log",
        "device_id": "64768",
        "inode": "67732417"
      },
      "syslog": {
        "appname": "Microsoft-Windows-Time-Service",
        "hostname": "dc-ws2022-sonde.sonde.ad"
      }
    },
    "received_at": "2024-05-06T14:44:52.368Z",
    "@timestamp": "2024-04-28T16:53:15.000Z",
    "event": {
      "original": "Apr 28 16:53:15 DC-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011System#011855#011Sun Apr 28 16:53:15 2024#01136#011Microsoft-Windows-Time-Service#011SERVICE LOCAL#011Well Known Group#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Le service de temps n’a pas été synchronisé avec l’heure du système pendant les 86400 dernières secondes, car aucun des fournisseurs de service de temps n’a fourni d’horodatage utilisable. Le service de temps ne mettra pas à jour l’heure du système local avant de s’être synchronisé avec une source de temps. Si le système local est configuré en tant que serveur de temps pour les clients, il arrêtera de s’annoncer comme source de temps aux clients après 0 secondes. Le service de temps continuera d’essayer et de synchroniser l’heure avec ses sources de temps. Vérifiez la présence d’autres événements W32time dans le journal des événements du système pour plus de détails. Exécutez w32tm /resync pour forcer une synchronisation d’heure instantanée. Vous pouvez contrôler la fréquence de la redécouverte de la source de temps à l’aide du paramètre de configuration ClockHoldoverPeriod W32time. Modifiez le paramètre de configuration EventLogFlags W32time si vous souhaitez désactiver ce message.#011118644#015"
    },
    "ecs": {
      "version": "8.0.0"
    },
    "hostname": "DC-WS2022-Sonde.sonde.ad",
    "event_source_id": 118644,
    "event_sidtype": "Well Known Group",
    "tags": [
      "process_archive",
      "filebeat",
      "beats_input_codec_plain_applied",
      "snare_log",
      "_grokparsefailure_sl03",
      "_grokparsefailure"
    ],
    "@version": "1",
    "event_logsource": "System",
    "input": {
      "type": "filestream"
    },
    "event_id": 36,
    "message": "Le service de temps n’a pas été synchronisé avec l’heure du système pendant les 86400 dernières secondes, car aucun des fournisseurs de service de temps n’a fourni d’horodatage utilisable. Le service de temps ne mettra pas à jour l’heure du système local avant de s’être synchronisé avec une source de temps. Si le système local est configuré en tant que serveur de temps pour les clients, il arrêtera de s’annoncer comme source de temps aux clients après 0 secondes. Le service de temps continuera d’essayer et de synchroniser l’heure avec ses sources de temps. Vérifiez la présence d’autres événements W32time dans le journal des événements du système pour plus de détails. Exécutez w32tm /resync pour forcer une synchronisation d’heure instantanée. Vous pouvez contrôler la fréquence de la redécouverte de la source de temps à l’aide du paramètre de configuration ClockHoldoverPeriod W32time. Modifiez le paramètre de configuration EventLogFlags W32time si vous souhaitez désactiver ce message.",
    "username": "SERVICE LOCAL",
    "event_source": "Microsoft-Windows-Time-Service",
    "host": {
      "name": "sof-elk"
    },
    "event_category": "N/A",
    "snare_counter": 855,
    "path": "filebeat: sof-elk:/logstash/syslog/log_dc_test_system_after_update.log",
    "event_criticality": 2,
    "sof-elk.processing_time": 0.40146422,
    "type": "syslog",
    "agent": {
      "id": "00a4e106-3497-4193-a785-476ebe8d468c",
      "type": "filebeat",
      "ephemeral_id": "6a6858c7-9d16-4d48-b232-3682460dd004",
      "name": "sof-elk",
      "version": "8.13.2"
    },
    "event_logtype": "Warning"
  },
  "fields": {
    "agent.version.keyword": [
      "8.13.2"
    ],
    "event_logtype": [
      "Warning"
    ],
    "host.name.keyword": [
      "sof-elk"
    ],
    "event_source": [
      "Microsoft-Windows-Time-Service"
    ],
    "type": [
      "syslog"
    ],
    "event_sidtype.keyword": [
      "Well Known Group"
    ],
    "username.keyword": [
      "SERVICE LOCAL"
    ],
    "path": [
      "filebeat: sof-elk:/logstash/syslog/log_dc_test_system_after_update.log"
    ],
    "hostname": [
      "DC-WS2022-Sonde.sonde.ad"
    ],
    "ecs.version.keyword": [
      "8.0.0"
    ],
    "type.keyword": [
      "syslog"
    ],
    "agent.name": [
      "sof-elk"
    ],
    "event_criticality": [
      2
    ],
    "host.name": [
      "sof-elk"
    ],
    "event_logsource": [
      "System"
    ],
    "event_logsource.keyword": [
      "System"
    ],
    "event_source_id": [
      118644
    ],
    "event.original": [
      "Apr 28 16:53:15 DC-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011System#011855#011Sun Apr 28 16:53:15 2024#01136#011Microsoft-Windows-Time-Service#011SERVICE LOCAL#011Well Known Group#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Le service de temps n’a pas été synchronisé avec l’heure du système pendant les 86400 dernières secondes, car aucun des fournisseurs de service de temps n’a fourni d’horodatage utilisable. Le service de temps ne mettra pas à jour l’heure du système local avant de s’être synchronisé avec une source de temps. Si le système local est configuré en tant que serveur de temps pour les clients, il arrêtera de s’annoncer comme source de temps aux clients après 0 secondes. Le service de temps continuera d’essayer et de synchroniser l’heure avec ses sources de temps. Vérifiez la présence d’autres événements W32time dans le journal des événements du système pour plus de détails. Exécutez w32tm /resync pour forcer une synchronisation d’heure instantanée. Vous pouvez contrôler la fréquence de la redécouverte de la source de temps à l’aide du paramètre de configuration ClockHoldoverPeriod W32time. Modifiez le paramètre de configuration EventLogFlags W32time si vous souhaitez désactiver ce message.#011118644#015"
    ],
    "event_sidtype": [
      "Well Known Group"
    ],
    "event_datetime_system_tz": [
      "2024-04-28T16:53:15.000Z"
    ],
    "agent.id.keyword": [
      "00a4e106-3497-4193-a785-476ebe8d468c"
    ],
    "input.type": [
      "filestream"
    ],
    "log.offset": [
      0
    ],
    "tags": [
      "process_archive",
      "filebeat",
      "beats_input_codec_plain_applied",
      "snare_log",
      "_grokparsefailure_sl03",
      "_grokparsefailure"
    ],
    "event_category.keyword": [
      "N/A"
    ],
    "agent.id": [
      "00a4e106-3497-4193-a785-476ebe8d468c"
    ],
    "ecs.version": [
      "8.0.0"
    ],
    "sof-elk.processing_time": [
      0.40146422
    ],
    "agent.version": [
      "8.13.2"
    ],
    "hostname.keyword": [
      "DC-WS2022-Sonde.sonde.ad"
    ],
    "input.type.keyword": [
      "filestream"
    ],
    "log.syslog.hostname": [
      "dc-ws2022-sonde.sonde.ad"
    ],
    "log.syslog.appname": [
      "Microsoft-Windows-Time-Service"
    ],
    "tags.keyword": [
      "process_archive",
      "filebeat",
      "beats_input_codec_plain_applied",
      "snare_log",
      "_grokparsefailure_sl03",
      "_grokparsefailure"
    ],
    "log.file.inode.keyword": [
      "67732417"
    ],
    "agent.type": [
      "filebeat"
    ],
    "log.file.device_id": [
      "64768"
    ],
    "@version": [
      "1"
    ],
    "log.file.device_id.keyword": [
      "64768"
    ],
    "event_logtype.keyword": [
      "Warning"
    ],
    "log.file.path.keyword": [
      "/logstash/syslog/log_dc_test_system_after_update.log"
    ],
    "agent.type.keyword": [
      "filebeat"
    ],
    "agent.ephemeral_id.keyword": [
      "6a6858c7-9d16-4d48-b232-3682460dd004"
    ],
    "log.syslog.appname.keyword": [
      "Microsoft-Windows-Time-Service"
    ],
    "agent.name.keyword": [
      "sof-elk"
    ],
    "event_source.keyword": [
      "Microsoft-Windows-Time-Service"
    ],
    "snare_counter": [
      855
    ],
    "event_datetime_system_tz.keyword": [
      "2024-04-28T16:53:15.000Z"
    ],
    "event_category": [
      "N/A"
    ],
    "message": [
      "Le service de temps n’a pas été synchronisé avec l’heure du système pendant les 86400 dernières secondes, car aucun des fournisseurs de service de temps n’a fourni d’horodatage utilisable. Le service de temps ne mettra pas à jour l’heure du système local avant de s’être synchronisé avec une source de temps. Si le système local est configuré en tant que serveur de temps pour les clients, il arrêtera de s’annoncer comme source de temps aux clients après 0 secondes. Le service de temps continuera d’essayer et de synchroniser l’heure avec ses sources de temps. Vérifiez la présence d’autres événements W32time dans le journal des événements du système pour plus de détails. Exécutez w32tm /resync pour forcer une synchronisation d’heure instantanée. Vous pouvez contrôler la fréquence de la redécouverte de la source de temps à l’aide du paramètre de configuration ClockHoldoverPeriod W32time. Modifiez le paramètre de configuration EventLogFlags W32time si vous souhaitez désactiver ce message."
    ],
    "log.syslog.hostname.keyword": [
      "dc-ws2022-sonde.sonde.ad"
    ],
    "@timestamp": [
      "2024-04-28T16:53:15.000Z"
    ],
    "event_id": [
      "36"
    ],
    "log.file.inode": [
      "67732417"
    ],
    "received_at": [
      "2024-05-06T14:44:52.368Z"
    ],
    "log.file.path": [
      "/logstash/syslog/log_dc_test_system_after_update.log"
    ],
    "agent.ephemeral_id": [
      "6a6858c7-9d16-4d48-b232-3682460dd004"
    ],
    "event_id.keyword": [
      "36"
    ],
    "username": [
      "SERVICE LOCAL"
    ]
  },
  "ignored_field_values": {
    "message.keyword": [
      "Le service de temps n’a pas été synchronisé avec l’heure du système pendant les 86400 dernières secondes, car aucun des fournisseurs de service de temps n’a fourni d’horodatage utilisable. Le service de temps ne mettra pas à jour l’heure du système local avant de s’être synchronisé avec une source de temps. Si le système local est configuré en tant que serveur de temps pour les clients, il arrêtera de s’annoncer comme source de temps aux clients après 0 secondes. Le service de temps continuera d’essayer et de synchroniser l’heure avec ses sources de temps. Vérifiez la présence d’autres événements W32time dans le journal des événements du système pour plus de détails. Exécutez w32tm /resync pour forcer une synchronisation d’heure instantanée. Vous pouvez contrôler la fréquence de la redécouverte de la source de temps à l’aide du paramètre de configuration ClockHoldoverPeriod W32time. Modifiez le paramètre de configuration EventLogFlags W32time si vous souhaitez désactiver ce message."
    ],
    "event.original.keyword": [
      "Apr 28 16:53:15 DC-WS2022-Sonde.sonde.ad MSWinEventLog#0112#011System#011855#011Sun Apr 28 16:53:15 2024#01136#011Microsoft-Windows-Time-Service#011SERVICE LOCAL#011Well Known Group#011Warning#011DC-WS2022-Sonde.sonde.ad#011N/A#011#011Le service de temps n’a pas été synchronisé avec l’heure du système pendant les 86400 dernières secondes, car aucun des fournisseurs de service de temps n’a fourni d’horodatage utilisable. Le service de temps ne mettra pas à jour l’heure du système local avant de s’être synchronisé avec une source de temps. Si le système local est configuré en tant que serveur de temps pour les clients, il arrêtera de s’annoncer comme source de temps aux clients après 0 secondes. Le service de temps continuera d’essayer et de synchroniser l’heure avec ses sources de temps. Vérifiez la présence d’autres événements W32time dans le journal des événements du système pour plus de détails. Exécutez w32tm /resync pour forcer une synchronisation d’heure instantanée. Vous pouvez contrôler la fréquence de la redécouverte de la source de temps à l’aide du paramètre de configuration ClockHoldoverPeriod W32time. Modifiez le paramètre de configuration EventLogFlags W32time si vous souhaitez désactiver ce message.#011118644#015"
    ]
  }
}
philhagen commented 1 month ago

Excellent- thanks for confirming!!