opensource4you / astraea

釋放kafka的無限潛能
Apache License 2.0
125 stars 45 forks source link

[BACKUP] Kafka Sink Connect 是否有參數可以設定 offset #1812

Closed Haser0305 closed 1 year ago

Haser0305 commented 1 year ago

以我目前在觀察的結論,在 kafka 在 connect sink configuration 中沒有發現指定 offset 的部分。 consumer seek 在 connector 中用到的部分也就是之前發現的那種用法,並沒有在建立過程中因為某些參數而被呼叫到。

是有查詢到 kafka 在 KIP-875 中有提到要增加官方 api 來查看或修改 connectors 的 offsets。但以這邊的設計規劃來說,是需要在 connector 已經存在的狀況下再透過 rest api 的方式來變更 offset。

上述的功能看來應該會是在 Kafka 3.5 階段增加查看 offset 的 api 與 3.6 新增變更 offset 的 api。

結論來說,我認為 Kafka 官方感覺應該是透過上述方式,在建立完 connector 後可以隨時透過 rest api 的方式來更新 offset。

Haser0305 commented 1 year ago

目前結論是在 3.4 版的 kafka 沒有發現可以透過參數設定 connector 起始消費之 offset 方法。

chia7712 commented 1 year ago

@Haser0305 感謝協助確認