search

PnX-SI / gn_module_import

Module GeoNature d'import de données
7 stars 11 forks source link

Feat(perf) change cast from string to int #468

Closed Pierre-Narcisi closed 1 year ago

Pierre-Narcisi commented 1 year ago

Amélioration des performances en passant un une comparaison entre string en une en une comparaison en Int qui est beaucoup plus rapide.

https://github.com/PnX-SI/gn_module_import/issues/424

Lignes importées Int String 
100 0.015 0.14 
1000 0.14 0.28 
10000 1.39  2.90
100000 18.31 23.26 
camillemonchicourt commented 1 year ago

Remplacé par https://github.com/PnX-SI/gn_module_import/pull/482

bouttier commented 12 months ago

À noter que cette PR introduit la fonction SQL try_cast_int qui n’est pas présent dans #482 qui se limite à la suppression du cast. Le travail initié dans cette PR peut donc encore servir pour convertir les checks de types dataframes vers SQL.