flant / loghouse

Ready to use log management solution for Kubernetes storing data in ClickHouse and providing web UI.
Apache License 2.0
925 stars 76 forks source link

clickhouse-client insert into wrong table #11

Open wntbrian opened 7 years ago

wntbrian commented 7 years ago

https://github.com/flant/loghouse/blob/beb26036444e7989d10f740ebc2497325bfe46d8/images/fluentd/insert_ch.sh#L4

INSERT INTO logs${TABLE}

не совпадает с настройками clickhouse по таблице, и пытается записать в не существующую таблицу.

qw1mb0 commented 7 years ago

Добрый день. По умолчанию у нас партиционирование по часу https://github.com/flant/loghouse/blob/beb26036444e7989d10f740ebc2497325bfe46d8/charts/loghouse/values.yaml#L44-L46 Как видно из этого скрипта, он заточен на это же партиционирование: https://github.com/flant/loghouse/blob/beb26036444e7989d10f740ebc2497325bfe46d8/images/fluentd/insert_ch.sh#L3

Это очень плохо и скоро мы это пофиксим. Не могли бы вы сообщить лог ошибки? И show tables в clickhouse ?

wntbrian commented 7 years ago

да, все так. Я взял партиционирование по 24 часа. Однако, речь не про это. Таблицы logs2017110217 существовать не может, потому что имя моих таблиц click_tables (к примеру) из вот этой переменной: https://github.com/flant/loghouse/blob/3163681e6f9ba125aacc9b6d9d52d88475f2a5a5/charts/loghouse/templates/loghouse/loghouse.yaml#L53

Пока мне пришлось пересобрать образ. Логов к сожалению тех, не сохранил.

INSERT INTO ${CLICKHOUSE_LOGS_TABLE}${TABLE}

Эту строку, тоже привел к CLICKHOUSE_LOGS_TABLE https://github.com/flant/loghouse/blob/3163681e6f9ba125aacc9b6d9d52d88475f2a5a5/charts/loghouse/templates/fluentd/fluentd.yaml#L37

qw1mb0 commented 7 years ago

Спасибо за описание проблемы. С партиционированием и с именем таблицы исправим.