Diagnóstico Elastic Search

[rdurl0]

Avaliação e melhorias para infraestrutura do Elastic Search (ES).

Problema:

O site AeP possui um sistema de busca de pedidos que opera com ES. O sistema de busca possui gargalos com ingestão de dados de pedidos LAI. Os pedidos são armazenados em um banco de dados e "sincronizados" no Elastic Search, quanto maior o número de pedidos para sincronizar, mais memória o sistema consome. A sincronização não suporta a ingestão de grandes volumes de pedidos (+2000 pedidos).

Necessidades:

• Esquema, desempenho: revisar se a ferramenta opera em conformidade com boas práticas. Diagnóstico com Opster. Implementar melhorias se necessário.
• Infraestrutura: revisar infra em que o sistema está instalado e implementar melhorias se necessário. Temos a limitação de não poder trabalhar com uma instância ES dedicada (custo alto para um baixo volume de dados). Sugerir e dar apoio à implementação de técnicas de devops alternativas (exemplo: modelo aqui. )

[rdurl0]

Algumas melhorias propostas, enviadas por @rtancman:

• Aumentar o tempo de _refresh para 1h ou mais.
• _ forcemerge: rodar após uma grande ingestão de dados para otimizar as estruturas internas do elastic.
• Colocar dado estático e cachear páginas: evitar de bater direto no elastic caso o usuário não faça uma busca. (#44)
• Alterar disco padrão para SSD para aumentar desempenho de operações em disco