WIP: #4 populate bdd via custom command

dataforgoodfr / batch7_rse

A search engine for French corporate societal and environnemental commitments and actions.

http://dataforgood.fr/batch7_rse/

MIT License

5 stars 2 forks source link

WIP: #4 populate bdd via custom command #26

Closed CharlesGaydon closed 4 years ago

CharlesGaydon commented 4 years ago

Commande populate_db qui aura pour vocation de peupler la database sql par tous les éléments parsés.

CharlesGaydon commented 4 years ago

@Renaud-D-Harreville J'ai terminé de créer les commandes (cf. le readme sur cette branche pour leur usage) Est-ce que tu pourrais jeter un coup d'oeil à tout ça, vérifier que tu parviens à tout runner ?

J'ai notamment fait un truc assez barbare et reset totalement la Base de données. J'avais eu une erreur qui évoquait la classe Vecteur (maintenant plus d'actualité) et j'avais cru qu'on était obligé de la garder partout et qu'on ne pouvait pas la supprimer mais... apparemment ce n'est pas le cas. Bref, c'est quand même pratique de repartir d'une version propre au bon schéma, surtout avec tous les tests qu'on fait.

CharlesGaydon commented 4 years ago

Le principe de cette branche est de remplacer:

python main.py --mode debug --task parse par python manage.py populate_db --mode debug
python main.py --mode debug --task model par python manage.py indexe_sentences --mode debug/ tout en gardant la possibilité d'utiliser le main (qui passe par le stockage csv)