Complete redesign of dissimilarities

[ghost]

The current dissimilarity package being a bit cryptic for users of the library, this update suggests a complete redesign of the dissimilarity interface, along with a few bug fixes and optimizations.

• New interface for dissimilarities.
  • A real class structure, made with user-friendliness in mind
  • Making new or custom dissimilarities is now doable without copying huge chunks of numba code, supposedly without knowledge of the inner working of the library
  • The code for dissimilarities is overall clearer, more reliable and more maintainable
  • New natively available dissimilarities
• Bug fixes
  • Fixed many bugs that emerged from the sorted structures and a confusion when passing to a numba/numerical algorithmic environment
• Optimizations :
  • Memory usage of the gamma algorithm is now significantly lower than before
  • Unit-to-unit disorders are pre-computed during the best-alignment algorithm, which lowers the computation time
  • Multiprocessing has been replaced by multithreading, for additionnal memory usage, computation time and simplicity.
  • Some more parallelization in deeper code.
• Documentation
  • Extensive tutorials for dissimilarities, sampling and the corpus shuffling tool

Sidenote : simplification of categorical dissimilarities has been limited because of numba's lack of support for string types.

[hadware]

Absolument génial tes how-to!

Je me demandais (mais rien de nécessaire, c'est une suggestion si ça t'inspire): tu penses que ça serait possible de faire une routine de vérification qu'une dissim "user-made" est bien conforme (pour éviter que ça pète de manière totalement incompréhensible)?

[ghost]

Absolument génial tes how-to!

Je me demandais (mais rien de nécessaire, c'est une suggestion si ça t'inspire): tu penses que ça serait possible de faire une routine de vérification qu'une dissim "user-made" est bien conforme (pour éviter que ça pète de manière totalement incompréhensible)?

@hadware En fait ya pas vraiment de raison que ça "pète" puisque le renvoi de delta-empty si unit vide (géré en dehors de ce que l'user écrit) assure qu'il y a toujours un meilleur alignment trouvable par le solveur, donc que l'algo termine bien. Le check que la dissim est bien symmétrique et que d(u, u) = 0 serait utile effectivement. Sinon, pour checker qu'elle est un minimum positionnelle (donc qu'elle ralentit pas trop l'algo), je le laisse au bon sens de l'utilisateur, mais je ferais peut-être un commentaire là-dessus