How do I write nginx logs to TDengine

db-code commented 2 years ago

General Questions 我们想将nginx的日志写入到tdengine，尝试过 nginx -> vector ->kafka -> tdengine 没有成功，只能做到基本的数据库创建完成，但无法将数据写入数据表，提示如下： [2022-05-28 19:25:09,454] ERROR [nginx-tdengine|task-0] WorkerSinkTask{id=nginx-tdengine-0} RetriableException from SinkTask: (org.apache.kafka.connect.runtime.WorkerSinkTask:600) org.apache.kafka.connect.errors.RetriableException: java.sql.SQLException: Exception chain: java.sql.SQLException: TDengine ERROR (80000221): Invalid JSON format

tdengine 版本 2.4.0.14

我们参考 https://docs.taosdata.com/third-party/kafka 这篇文档操作的。不知道是哪里有问题，是否有一个更合理的方案？

huolibo commented 2 years ago

显示 json 格式不符合 schemaless 写入标准。能给出一个写入数据的具体示例吗？

huolibo commented 2 years ago

schemaless 写入格式可以参考 jdbc 示例：schemaless

dingbo8128 commented 2 years ago

@db-code 目前 JSON 格式只支持 OpenTSDB JSON 格式： https://docs.taosdata.com/develop/insert-data/opentsdb-json 请确认一下写入到 kafka 的数据格式是否正确。如果是有多个数据列（除 tag 外的列），建议使用 InfluxDB Line 协议格式

taosdata / TDengine

How do I write nginx logs to TDengine #13199