search

lw-lin / CoolplaySpark

酷玩 Spark: Spark 源代码解析、Spark 类库等
3.46k stars 1.41k forks source link

【question】在watermark下spark如何维护kafka的offset #51

Open owenericsson opened 5 years ago

owenericsson commented 5 years ago

我查看了很多文章，比如以前的直接拿到RDD的offsetRange属性等，但是往往在watermark情况下，我们都是转换过后的Dataset了，请问这种情况我们如何保证或者说如何自维护spark structured streaming当前清洗完的数据的最新的offset？