search

matchID-project / backend

Backend (Docker & API) for matchID project
https://matchID-project.github.io
GNU Lesser General Public License v3.0
11 stars 14 forks source link

ajouter le support swift à matchID backend (recipes.py) #193

Open rhanka opened 4 years ago

rhanka commented 4 years ago

permettre l'accès direct à Swift tout comme cela a été fait pour S3

cristianpb commented 4 years ago

En utilisant curl ou le client swift ?

rhanka commented 4 years ago

La question se pose pour l'issue #194 et non pour ce ticket, qui concerne le code python de matchID.

La question équivalente est plutôt : via la librairie python swift officielle ou via request.

Sur histovec, via Dataiku nous utilisions plutôt la librairie request standard pour éviter d'installer un composant supplémentaire dans l'environnement de production.

Sur matchid, il semble plus raisonnable d'utiliser la libairie Swift. L'avantage est de laisser la parallélisation (nécessaire pour une bonne perf) à la lib swift, plutôt que de faire une parallélisation custom (comme fait sur le dataprep histovec). L'inconvénient est l'augmentation de la taille du docker matchID, mais ça me semble mineur par rapport à l'ensemble des librairies (e.g. on intégère déjà le S3 assez conséquent, et surtout pandas et sci kit).

cristianpb commented 4 years ago

Merci pour la précision. J'avais mal compris. Effectivement, je pense que c'est mieux la lib swift python