search

servicosgovbr / docker

Imagens Docker para o Portal de Serviços
MIT License
13 stars 9 forks source link

Descartar logs velhos #2

Closed cv closed 8 years ago

cv commented 9 years ago

Não temos nenhuma rotina de limpeza dos indices de logs velhos no ElasticSearch. Se o sistema for usado de forma muito pesada (sofrer um DDoS, por exemplo), ou durante muito tempo, podemos ficar sem disco à toa.

gomex commented 9 years ago

logrotate! \o/

gomex commented 9 years ago

Você pode rotacionar por tamanho, inclusive :)

cv commented 9 years ago

Logrotate saberia jogar fora logs no Logstash/ElasticSearch?

gomex commented 9 years ago

Ainda não usei realmente o logstash e ES, mas se for arquivo, ele faz sim :)

Encontrei isso aqui: https://discuss.elastic.co/t/logstash-logrotate/2530

caduvieira commented 8 years ago

Pelo que entendi isso é para o log do próprio logstash.

IMHO poderiamos usar o curator e apagar os logs antigos que estão armazenados nos índices do ES.

Não encontrei imagem oficial mas essa é a mais utilizada atualmente. https://hub.docker.com/r/bobrik/curator/

E alguns exemplos em https://www.elastic.co/guide/en/elasticsearch/client/curator/current/examples.html

https://www.elastic.co/blog/curator-tending-your-time-series-indices