search

ClickHouse / clickhouse-odbc

ODBC driver for ClickHouse
https://clickhouse.tech
Apache License 2.0
245 stars 86 forks source link

Производительность драйвера #81

Open aadim opened 6 years ago

aadim commented 6 years ago

Выгружаем 9 млн строк (1 ГБ) из кликхауса через ODBC драйвер под Windows 8.1 в Tableau. Это занимает 20 минут. Если тоже самое грузить через JDBC драйвер, то это займет 3 минуты. При этом основное время для ODBC драйвера приходится на передачу данных пачками по 1400 байт (судя по wireshark).

tru1 commented 6 years ago

фиксается увеличиванием буфера через SQL_ATTR_ROW_ARRAY_SIZE в SQLSetStmtAttr

Slach commented 6 years ago

@tru1 если знаешь как пофиксить, пришли pull request

proller commented 6 years ago

Этот параметр должен устанавливать пользователь(в плане софта) драйвера и ожидать что драйвер отдаст более 1 строки. если просто так его увеличить - что-нибудь поломается

aopetrov86 commented 5 years ago

Ребята, ситуация имеет место быть. Если надо забрать много строк, то это драйвер только помешает задаче.

Если вы хотите подучить ответ и он читаем сверднестатистическим человеком, то можете игнорировать это. Если ваш ответ из миллионов строк, то не смотрите на этот ODBC драйвер. Разрабы уверены что он работает оптимально, а на самом дел вас може ждать максимум 1 Mbs.

alex-zaitsev commented 4 years ago

@aadim, @aopetrov86 -- please check the latest https://github.com/ClickHouse/clickhouse-odbc/releases/tag/v1.1.6.20200320. Versions 1.1.4-1.1.6 are focused on driver performance.