Big tables insertion problem

HyperLEDA / db-app

Backend for HyperLeda astronomical database of extragalactic objects

https://hyperleda.github.io/db-app/

MIT License

0 stars 0 forks source link

Big tables insertion problem #182

Open d-makarov-d opened 3 months ago

d-makarov-d commented 3 months ago

Столкнулся с лимитом на 65k символов, когда заливал большие таблицы одним запросом с помощью шаблонизатора. В результате чего перешел на executemany. Требуется исследовать вопрос оптимального варианта занесения больших таблиц в БД

d-makarov-d commented 3 months ago

Поправка, 65k параметров запроса.

Падение можно воспроизвести на ветке fail-65k-test, в коммите 0e20344800d27db90b63735888ef546eaf7e4132, вызвав тест CrossIdDataProviderTest.test_65_fail