Mesure de similarité entre vecteurs

[CharlesGaydon]

Actuellement: scipy.spatial.distance.cosine est utilisée comme distance, et la similarité cosine est retrouvée en faisant similarité = 1 - distance. Le range de la distance est de [0 - 2], celui de la similarité est de [-1, 1] (@Renaud-D-Harreville FYI)

Normalisation:

• actuellement la vectorisation se fait par moyenne pondérée des vecteurs individuels. Les poids sont ceux des mots basés sur leur rareté.
• les embeddings des mots ne sont pas normalisés. La longueur des embeddings peut traduire leur usage dans des contextes spécifiques et donc leur importance.
• La cosine similarity est sensible à la moyenne des vecteurs (stackoverflow). Une version ajustée peut en être obtenue en retirant la moyenne au vecteurs des phrases. CCL: le faire directement dans le calcul de vector par nlp(text).

[CharlesGaydon]

@Renaud-D-Harreville En plus de l'usage de cosine de sklearn, il faut simplement retirer sa moyenne au vecteur lors de sa création qui se fait ici: https://github.com/dataforgoodfr/batch7_rse/blob/252c03f8146a746bf044f6a50a8091c17051852f/webapp/polls/rse_model/rse_watch/scoring.py#L259