alibaba / ilogtail

Fast and Lightweight Observability Data Collector

https://ilogtail.gitbook.io/ilogtail-docs

Apache License 2.0

1.74k stars 387 forks source link

feat: support Go input to Cpp pipeline #1715

Open Assassin718 opened 2 months ago

Assassin718 commented 2 months ago

已完成

增加加载Go流水线的返回值信息input mode（Go input plugin类型），根据input mode创建对应的process queue（Bounded/Circular Process Queue）
支持v1流水线LogEvent的转发：
- 支持对多个LogEvent缓存后打包成PipelineEventGroup，异步发送给Cpp processor
- 支持对缓存参数的设置：在流水线配置文件global中设置PushNativeMaxCachedSize、PushNativeTimeoutMs，分别表示最大一次性发送日志数、超时发送时间
- input mode为PUSH情况下可根据process queue水位线阻塞input，降低输入速率
支持v2流水线PipelineEventGroup转发：
- 对每个PipelineEventGroup进行同步转发
- 暂不支持缓存多个PipelineEventGroup、调节输入速率
  待完成
单元测试
e2e测试