childe / gohangout

使用 golang 模仿的 Logstash。用于消费 Kafka 数据,处理后写入 ES、Clickhouse 等。
MIT License
1.01k stars 234 forks source link

关于字段过长需要截断 #240

Closed yasincyx closed 6 months ago

yasincyx commented 6 months ago

大佬,想请教下。 关于超长字段的写入,对es很容易造成瓶颈,就想着能不能根据字段的长度去截断。 看了下文档好像都是分割和拆分的实现,按照长度截断这种可以实现吗?或者有啥好的方法处理

childe commented 6 months ago
inputs:
  - Stdin:
      codec: json

filters:
  - Add:
      fields:
        b: '{{abbrev 5 .a}}'

outputs:
  - Stdout:
      codec: json

可以参考一下这个例子

yasincyx commented 6 months ago

感谢大佬!