Supression automatique de log

[NunzioArdi]

Automatiser la suppression des logs automatiquement après x jours

• [x] Linux
• [x] ELK
• [ ] windows
• [x] Rédaction des documents explicatif

[NunzioArdi]

rsys ne peut pas supprimer les logs après une date/un temps donné (ce n'est pas sont rôle). J'ai dont modifier la règle de génération des logs pour qu'un nouveau fichier soit générer à chaque nouveau jours. Une commande cron sera lancé et supprimera les fichiers dont le dernière accès a eu lui x jours. Ce n'est pas la méthode optimale mais elle fonctionne.

[NunzioArdi]

https://www.elastic.co/guide/en/elasticsearch/reference/7.8/index-lifecycle-management.html

1. https://www.elastic.co/guide/en/kibana/7.8/managing-indices.html

[NunzioArdi]

https://www.elastic.co/guide/en/elasticsearch/reference/7.8/getting-started-index-lifecycle-management.html

• creation de la politique du cycle de vie

  PUT _ilm/policy/linux-log-life
  {
  "policy": {
  "phases": {
    "hot": {                      
      "actions": {
        "rollover": {
          "max_size": "50GB",     
          "max_age": "1d"
        }
      }
    },
    "delete": {
      "min_age": "2d",           
      "actions": {
        "delete": {}              
      }
    }
  }
  }
  }

• Création d'un paterne pour les future index, utilisant la règle créer prcédement

  PUT _template/linux-log
  {
  "index_patterns": ["test14-*"],                 
  "settings": {
  "number_of_shards": 1,
  "number_of_replicas": 1,
  "index.lifecycle.name": "linux-log-life",      
  "index.lifecycle.rollover_alias": "linog"    
  },
  "mappings": {
  "_meta": {},
  "_source": {},
  "properties": {
    "severity": {
      "type": "byte"
    },
    "geoip": {
      "dynamic": true,
      "type": "object",
      "properties": {
        "ip": {
          "type": "ip"
        },
        "latitude": {
          "type": "half_float"
        },
        "location": {
          "type": "geo_point"
        },
        "longitude": {
          "type": "half_float"
        }
      }
    },
    "severity_text": {
      "type": "keyword"
    },
    "pid": {
      "type": "integer"
    },
    "program": {
      "type": "text"
    },
    "message": {
      "type": "text"
    },
    "priority": {
      "type": "short"
    },
    "syslog_version": {
      "eager_global_ordinals": false,
      "norms": true,
      "index": true,
      "store": false,
      "type": "keyword",
      "split_queries_on_whitespace": false,
      "index_options": "freqs",
      "doc_values": true
    },
    "tags": {
      "eager_global_ordinals": false,
      "index_phrases": false,
      "fielddata": false,
      "norms": true,
      "index": true,
      "store": false,
      "type": "text",
      "fields": {
        "keyword": {
          "type": "keyword"
        }
      },
      "index_options": "positions"
    },
    "hostname": {
      "type": "text"
    },
    "@timestamp": {
      "type": "date"
    },
    "@version": {
      "type": "keyword"
    },
    "facility": {
      "type": "byte"
    }
  }
  }
  }

[NunzioArdi]

index -> lieux ou l'on stock les données (des documents) -> stock un mapping = schéma des données -> distribution des données

shards = block de données-> les données seront déparé dans =/= shards les données vont être distribué a travers tous ces shards réplica = copie exacte d'une shards un shard et sa copi ne ce trouve pas sur le même noeud on peut définir pour chaque index (GET INDEX/_settings)

Les indexs peuvent être créer automatiquement, mais on peut les créer manuellement pour les paramètres

[NunzioArdi]

création de la politique du cycle de vie: ok mais j'arrive pas a comprendre comment marche le rolling

• censé créer un nouvelle index dès que la valeur un paramètre est atteint
• si non spécifier comportement bizarre
• si spécifier avec n'incrémente pas (pas normal)

création du template d'index: ok

• on met en place le mapping (nikel)
• dans les paramètre, on indique le ilm et un alias
• l'alias sert pour logstash

création d'un index de départ: obligatoire sinon créer un index avec comme nom l'alias

• "aliases.<alias>.is_write_index": true