Estimation du temps de chargement de la totalité de l'échantillon

[gotnc]

Le temps peut être estimé en regénérant le chargement en local sans toucher à la WB ABES. Il est attendu qu'avec les temps de chargement soient indiquées les détails de la configuration utilisée et que le tout soit explicité dans le rapport final.

[maxlath]

J'ai effectué un chargement en local, ça donne ceci :

---

Résumé :

• 1286 propriétés créées, dont 13 propriétés pivots, 784 propriétés intermarc, 489 propriétés unimarc
• 2887 notices BNF analysées, 2909 éléments créés
• 859 notices ABES analysées, 739 éléments créés

Comme vu ensemble, le nombre d'éléments d'origine ABES inférieur aux nombres de notices ABES est dû à la fusion de notices analysées à tord comme étant des doublons (on peut notamment voir les opérations d'enrichissement (enriched) d'éléments existant dans les logs, exemple)

---

Mesures de temps :

• extract : 2,727s

• transform : 0,978s

• load : 1183,117s (soit 19 minutes 43 secondes)

• total : 1186,831s (soit 19 minutes 46 secondes)

• soit 0,241s par entité créée (1187/(1286 + 2909 + 739))

• ou 0,317s par notice analysée et chargée (1187/(2887+859))

Aucune parallélisation n'a été implémentée pour le chargement, les 8 cœurs du processeur renseignés ci-dessous sont donc largement sous-exploités.

---

Environement :

• OS: Ubuntu 18.04.3
• Processeur : Intel Core i7-4710MQ CPU @ 2.50GHz × 8

• RAM: 15,6 Gio

Fichier de log complet

[maxlath]

Une piste d'optimisation du temps de chargement serait de faire les opérations de fusion/enrichissement en amont (transform) et donc de pouvoir paralléliser le chargement (load) : au doigt mouillé, on devrait pouvoir charger au moins 5 à 10 fois plus vite