Melhorias no mecanismo de highlights do motor de busca

okfn-brasil / querido-diario-comunidade

Querido Diário - Comunidade e Documentação

https://queridodiario.ok.org.br

MIT License

25 stars 22 forks source link

Melhorias no mecanismo de highlights do motor de busca #43

Open ogecece opened 1 year ago

ogecece commented 1 year ago

Descrição

O mecanismo de busca necessita de alterações para que tenhamos highlights mais funcionais (permitir que a query também dê match com o highlight apresentado) e também considerando mudanças de licenciamento pelo Elasticsearch devemos estudar alternativas.

Objetivos

[x] Estudo comparativo de alternativas de motores de busca (Elasticsearch, Opensearch, Lucene e Solr)
[x] Teste prático de motores promissores
[x] Definição de escopo de alterações
[ ] Teste de migração com a arquitetura do QD
- https://github.com/okfn-brasil/querido-diario-data-processing/issues/34
[ ] Implementação de alterações
- [ ] Data processing [issue a ser criada]
- [ ] API [issue a ser criada]

Como contribuir

O @tigreped está coordenando esta atividade. Entre em contato com ele pelo Discord do projeto e ele poderá direcionar.

robokbr commented 1 year ago

Traduzindo para inglês Translating to english

Description

The search engine needs changes so that we have more functional highlights (allowing the query to also match the presented highlight) and also considering licensing changes by Elasticsearch, we must study alternatives.

Goals

[x] Comparative study of search engine alternatives (Elasticsearch, Opensearch, Lucene and Solr)
[x] Practical testing of promising engines
[x] Scope definition of changes
[ ] Migration test with QD architecture
- https://github.com/okfn-brasil/querido-diario-data-processing/issues/34
[ ] Implementation of changes
- [ ] Data processing [issue to be created]
- [ ] API [issue to be created]

How to contribute

@tigreped is coordinating this activity. Contact him via project Discord and he can direct you.

ogecece commented 1 year ago

Alternativa de motor de busca escolhida: Opensearch.

Os motores de busca analisados que possuem highlights mais refinados não compensam pois tem comunidade menos ativa e menos funcionalidades que permitem maior escalabilidade com facilidade de manutenção.

Como a avaliação dos motores já havia sido realizada, a migração para o Opensearch será realizada, apesar de não resolver o principal ponto levantado (highlights mais funcionais como descrito), pois a licença é livre e o projeto não perderá funcionalidades.

robokbr commented 1 year ago

Traduzindo para inglês Translating to english

Chosen search engine alternative: Opensearch.

The search engines analyzed that have more refined highlights are not worth it as they have a less active community and fewer features that allow greater scalability with ease of maintenance.

As the evaluation of the engines had already been carried out, the migration to Opensearch will be carried out, despite not resolving the main point raised (more functional highlights as described), as the license is free and the project will not lose functionality.