Seb35
commented
4 years ago Je n’ai pas (encore) essayé, mais un contournement devrait être d’ajouter l’option --raw. Ceci dit, ça devrait être corrigé, le fichier normalize.py est dans le dossier parent, il faut donc adapter le chemin d’import.
J'ai pu traiter 331 fichiers d'archives avec la commande suivante :
/home/dev/opt/bin/python3 -m dila2sql.runner --run-only importer --base LEGI --db-url sqlite:///LEGI.sqlite --dumps-dir ./tarballs_legi/
Je précise que sans export DILA2SQL_MAX_PROCESSES=1 cela ne fonctionne pas (peut-être vers postgres mais pas vers sqlite).
A la fin du traitement, la phase de normalisation a échouée :
skipped 1876 files in unknown folder
dumps_directory=args.dumps_dir
File "/home/preprod/app/dila2sql/dila2sql/importer/importer.py", line 121, in run_importer
from .normalize import normalize_text_titles
ModuleNotFoundError: No module named 'dila2sql.importer.normalize'
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 494641/500000 [27:19:40<17:45, 5.03it/s]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 493213/500000 [28:08:26<23:14, 4.87it/s]
elilast_update is now set to 20191015-211446 Traceback (most recent call last): File "/home/dev/opt/lib/python3.7/runpy.py", line 193, in _run_module_as_main "main", mod_spec) File "/home/dev/opt/lib/python3.7/runpy.py", line 85, in _run_code exec(code, run_globals) File "/home/preprod/app/dila2sql/dila2sql/runner.py", line 71, in