Closed Haser0305 closed 1 year ago
以我目前在觀察的結論,在 kafka 在 connect sink configuration 中沒有發現指定 offset 的部分。 consumer seek 在 connector 中用到的部分也就是之前發現的那種用法,並沒有在建立過程中因為某些參數而被呼叫到。
是有查詢到 kafka 在 KIP-875 中有提到要增加官方 api 來查看或修改 connectors 的 offsets。但以這邊的設計規劃來說,是需要在 connector 已經存在的狀況下再透過 rest api 的方式來變更 offset。
上述的功能看來應該會是在 Kafka 3.5 階段增加查看 offset 的 api 與 3.6 新增變更 offset 的 api。
結論來說,我認為 Kafka 官方感覺應該是透過上述方式,在建立完 connector 後可以隨時透過 rest api 的方式來更新 offset。
目前結論是在 3.4 版的 kafka 沒有發現可以透過參數設定 connector 起始消費之 offset 方法。
@Haser0305 感謝協助確認
以我目前在觀察的結論,在 kafka 在 connect sink configuration 中沒有發現指定 offset 的部分。 consumer seek 在 connector 中用到的部分也就是之前發現的那種用法,並沒有在建立過程中因為某些參數而被呼叫到。
是有查詢到 kafka 在 KIP-875 中有提到要增加官方 api 來查看或修改 connectors 的 offsets。但以這邊的設計規劃來說,是需要在 connector 已經存在的狀況下再透過 rest api 的方式來變更 offset。
上述的功能看來應該會是在 Kafka 3.5 階段增加查看 offset 的 api 與 3.6 新增變更 offset 的 api。
結論來說,我認為 Kafka 官方感覺應該是透過上述方式,在建立完 connector 後可以隨時透過 rest api 的方式來更新 offset。