Sentence transformer - Githubissues

victorjourne commented 3 years ago

Pour la problématique de Question/Reponse, on pourrait utiliser du plongement lexical avec un BERT, et indexer cette reprensentation dans ES en mode dense_vector , comme dans ce notebook.

[ ] Trouver un modèle FR (grâce à PIAF?)
[ ] Indexer notre corpus de questions dans un champ dense_vector
[ ] Tester les performances par rapport à la recherche classique par mot clef, avec le fichier de QR
[ ] Si convaincant, l'implémenter dans le backend

evayse commented 3 years ago

:+1:

victorjourne commented 3 years ago

Sur hugging face, j'ai trouvé une démo de QR avec le modèle etalab

mpw-user commented 3 years ago

Quelques idées et liens utiles:

Pour la mise en œuvre dans Elastic, on peut considérer l'embedding comme un vecteur que l'on indexe: https://www.elastic.co/fr/blog/text-similarity-search-with-vectors-in-elasticsearch
FastText est simple à prendre en main et compatible en français
Camembert est plus récent, mais risque de demander un peu plus de travail
Dans les autres méthodes connues: word2vec (prédecesseur de FastText) et GloVe, et ils semblent tous être disponibles ici en français: https://github.com/Ismailhachimi/French-Word-Embeddings

Cours sur le Word Embedding: https://lena-voita.github.io/nlp_course/word_embeddings.html

evayse commented 3 years ago

La recherche sémantique réalisée avec sentence-transformers est implémentée sur la branche feat/sentence-transformers_eva.

Dans la version actuelle, le script renvoie les résultats avec le score associé à chaque hit de chaque query.

Ce qu'il reste à faire :

[ ] Intégrer une métrique pour qualifier la pertinence des résultats.
[ ] Faire l'embedding au moment de l'indexation (dans cette version, l'index est mis à jour avec le vecteur).
[ ] Indexer + calculer l'embedding par batchs ?
[ ] Le package sentence-transformers réalise une requête http pour appeler le modèle => étudier les contraintes dans notre environnement.
[ ] Seules les questions font l'objet d'un embedding => voir comment on exploite les réponses ?

victorjourne commented 3 years ago

Sentence transformer Appliqué au covid

victorjourne commented 3 years ago

Un framework à tester : https://deeppavlov.ai

victorjourne commented 3 years ago

Autre possibilité: modèles 2 étages avec elasticsearch et bert. (piaf) http://github.com/deepset-ai/haystack/ https://github.com/etalab-ia/piaf-ml

datalab-mi / ridoc

Sentence transformer #18