search

housepower / clickhouse_sinker

Easily load data from kafka to ClickHouse
https://housepower.github.io/clickhouse_sinker
Apache License 2.0
519 stars 118 forks source link

Manual schema config #50

Closed bun4uk closed 4 years ago

bun4uk commented 4 years ago

Hi! Is there an example of how to manually configure a schema for clickhouse table?

ArtemChekunov commented 4 years ago

@bun4uk https://github.com/housepower/clickhouse_sinker/blob/master/docker/conf/tasks/test1.json ?

bun4uk commented 4 years ago

@bun4uk https://github.com/housepower/clickhouse_sinker/blob/master/docker/conf/tasks/test1.json ?

@ArtemChekunov Артём, спасибо! Возможно подойдет. Не очень понял в чем разница между dims и metrics. Могу описать чего я хочу добиться. Я читаю ивенты из кафки и записываю их в clickhouse. Ивент содержит json строку с таймстемпом. Я хочу его записывать в две разных коллонки. В одной будет Date, в другой Datetime. Как мне это это правильно сконфигурировать?

bun4uk commented 4 years ago

@bun4uk https://github.com/housepower/clickhouse_sinker/blob/master/docker/conf/tasks/test1.json ?

@ArtemChekunov Артём, спасибо! Возможно подойдет. Не очень понял в чем разница между dims и metrics. Могу описать чего я хочу добиться. Я читаю ивенты из кафки и записываю их в clickhouse. Ивент содержит json строку с таймстемпом. Я хочу его записывать в две разных коллонки. В одной будет Date, в другой Datetime. Как мне это это правильно сконфигурировать?

p.s. свою задачу решил другим способом. Но вопрос всё равно актуален, так как любопытно :)

ArtemChekunov commented 4 years ago

Не очень понял в чем разница между dims и metrics @bun4uk если честно я тоже =)

Я имплементировал ElasticDateTime пример использовзния тут: https://github.com/housepower/clickhouse_sinker/blob/master/conf/tasks/logstash_sample.json

https://github.com/housepower/clickhouse_sinker/blob/9d52fe4b15c816a2adf96fc480545f904b41b2be/creator/config.go#L162 Dims []struct: имеет только Name и Type
так что писать из одного филда в разные колонки не получится но это был бы анти паттерн в CH нужно писать сырье данные и потом делать query посмотри в сторону CREATE VIEW

ArtemChekunov commented 4 years ago

BTW: в следущий раз пиши на английском пожалуйста тут мультиязычное комьюнити =)

bun4uk commented 4 years ago

BTW: в следущий раз пиши на английском пожалуйста тут мультиязычное комьюнити =)

No problems. BTW: there are a lot of issues in Chinese, so I had thought, why would not write in Russian? :)

ArtemChekunov commented 4 years ago

@bun4uk Probably they don't know English good enough which is sad but we should respect other people who don't know the Russian language and Chinese neither
If we will not use the English language the project will lose community