Elasticsearch improvements

pln-fing-udelar / covid19-qa

COVID-19 Question Answering

5 stars 4 forks source link

Elasticsearch improvements #12

Closed pgrill closed 4 years ago

pgrill commented 4 years ago

Hacer que Elasticsearch siempre devuelva al menos batch_size fragmentos (aunque el tamaño de lo que se procesa no es el mismo que el fragmento; capaz determinar un número en función del batch_size tipo la mitad, o para llegar a un número de batches estimado dado). Capaz el container puede consumir la env var del docker-compose que ya se usa para qa.

bryant1410 commented 4 years ago

Algunas comentadas durante la reunión:

[x] eliminar pronombres interrogativos (cuándo, quién, etc.)
[x] eliminar signos de interrogación
[x] bajar el peso de palabras repetidas