search

LioRoger / subscribe_example

subscribe from dts data store
63 stars 76 forks source link

这个kafka的代码下载下来 配置相应的参数无法获取到数据 #13

Open GXG123456 opened 4 years ago

GXG123456 commented 4 years ago

配置相关的参数 网络如果用公网就会报Error while fetching metadata with correlation id 1 貌似是kafka参数有问题，如果配置vpc 就报kafka的broke 没有提供 这是什么鬼demo

mrsongjiangtao commented 4 years ago

我跟你的问题一样，查看SID_NAME和GROUP_NAME是否配置正确，看看文档

GXG123456 commented 4 years ago

你好，我想问一下 在说明里面 有这样一段话 注意，不管是全量数据还是增量数据，对于beforeImage和afterImage中的顺序都没有保证和源端数据库是一致的，用户使用的时候需要对应指定的表，使用指定字段值来获取指定的值

这个beforeImage 和afterImage 不能保证和数据库一致，后面这个操作怎么搞 ，我看这意思还得去数据库查询一遍吗？是这个意思吗 你们怎么解决这个问题 这个问题好像是 数据的时序性。

期待你的回复。谢谢

------------------ 原始邮件 ------------------ 发件人: "宋江涛"<notifications@github.com>; 发送时间: 2020年3月10日(星期二) 晚上6:03 收件人: "LioRoger/subscribe_example"<subscribe_example@noreply.github.com>; 抄送: "JJ "<875110031@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [LioRoger/subscribe_example] 这个kafka的代码下载下来 配置相应的参数无法获取到数据 (#13)

我跟你的问题一样，查看SID_NAME和GROUP_NAME是否配置正确，看看文档

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

mrsongjiangtao commented 4 years ago

顺序问题我没遇到，我遇到了before和afterimage里面的东西，数据格式得自己一一去匹配？就没有一个类似于filed（filed是接收字段的一个类）的类来接收字段对应的数据吗

在 2020-03-12 18:14:06，"GXG" notifications@github.com 写道：

你好，我想问一下 在说明里面 有这样一段话 注意，不管是全量数据还是增量数据，对于beforeImage和afterImage中的顺序都没有保证和源端数据库是一致的，用户使用的时候需要对应指定的表，使用指定字段值来获取指定的值

这个beforeImage 和afterImage 不能保证和数据库一致，后面这个操作怎么搞 ，我看这意思还得去数据库查询一遍吗？是这个意思吗 你们怎么解决这个问题 这个问题好像是 数据的时序性。

期待你的回复。谢谢

------------------ 原始邮件 ------------------ 发件人: "宋江涛"<notifications@github.com>; 发送时间: 2020年3月10日(星期二) 晚上6:03 收件人: "LioRoger/subscribe_example"<subscribe_example@noreply.github.com>; 抄送: "JJ "<875110031@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [LioRoger/subscribe_example] 这个kafka的代码下载下来 配置相应的参数无法获取到数据 (#13)

我跟你的问题一样，查看SID_NAME和GROUP_NAME是否配置正确，看看文档

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

GXG123456 commented 4 years ago

这个可以手动解析，对了还有一个问题，就是初始化的checkpoint properties.setProperty(INITIAL_CHECKPOINT_NAME, "1583734589"); 这个值第一次手工设置 ，那我第二次改代码的时候这个值怎么定位到他是最后一次消费的时间点 下次启动从那个点获取到继续消费 这个涉及到代码迭代的问题。

------------------ 原始邮件 ------------------ 发件人: "宋江涛"<notifications@github.com>; 发送时间: 2020年3月13日(星期五) 中午1:42 收件人: "LioRoger/subscribe_example"<subscribe_example@noreply.github.com>; 抄送: "JJ "<875110031@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [LioRoger/subscribe_example] 这个kafka的代码下载下来 配置相应的参数无法获取到数据 (#13)

顺序问题我没遇到，我遇到了before和afterimage里面的东西，数据格式得自己一一去匹配？就没有一个类似于filed（filed是接收字段的一个类）的类来接收字段对应的数据吗

在 2020-03-12 18:14:06，"GXG" <notifications@github.com> 写道：

你好，我想问一下 在说明里面 有这样一段话 注意，不管是全量数据还是增量数据，对于beforeImage和afterImage中的顺序都没有保证和源端数据库是一致的，用户使用的时候需要对应指定的表，使用指定字段值来获取指定的值

这个beforeImage 和afterImage 不能保证和数据库一致，后面这个操作怎么搞 ，我看这意思还得去数据库查询一遍吗？是这个意思吗 你们怎么解决这个问题 这个问题好像是 数据的时序性。

期待你的回复。谢谢

------------------&nbsp;原始邮件&nbsp;------------------ 发件人:&nbsp;"宋江涛"<notifications@github.com&gt;; 发送时间:&nbsp;2020年3月10日(星期二) 晚上6:03 收件人:&nbsp;"LioRoger/subscribe_example"<subscribe_example@noreply.github.com&gt;; 抄送:&nbsp;"JJ "<875110031@qq.com&gt;;"Author"<author@noreply.github.com&gt;; 主题:&nbsp;Re: [LioRoger/subscribe_example] 这个kafka的代码下载下来 配置相应的参数无法获取到数据 (#13)

我跟你的问题一样，查看SID_NAME和GROUP_NAME是否配置正确，看看文档

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

mrsongjiangtao commented 4 years ago

这个简单，你只要把每次获取的record时间拿到，保存下来，下次搞进去就行， Date dtsTime = new Date(record.getRecord().getSourceTimestamp() * 1000)，这样就拿到了当前这条记录的产生时间，

GXG123456 commented 4 years ago

我发现在他程序当中有一个文件就是记录他的checkpoint的 localCheckpointStore.tmp 这个文件就是记录了他的时间 到时直接用这个时间就可以了

------------------ 原始邮件 ------------------ 发件人: "宋江涛"<notifications@github.com>; 发送时间: 2020年3月16日(星期一) 下午2:34 收件人: "LioRoger/subscribe_example"<subscribe_example@noreply.github.com>; 抄送: "JJ "<875110031@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [LioRoger/subscribe_example] 这个kafka的代码下载下来 配置相应的参数无法获取到数据 (#13)

这个简单，你只要把每次获取的record时间拿到，保存下来，下次搞进去就行， Date dtsTime = new Date(record.getRecord().getSourceTimestamp() * 1000)，这样就拿到了当前这条记录的产生时间，

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

denghw3 commented 4 years ago

请问你们监听成功了吗？为啥我一直报kafka超时。还有Checkpoint的topicPartition老是为null

denghw3 commented 4 years ago

我发现在他程序当中有一个文件就是记录他的checkpoint的 localCheckpointStore.tmp 这个文件就是记录了他的时间 到时直接用这个时间就可以了 … ------------------ 原始邮件 ------------------ 发件人: "宋江涛"<notifications@github.com>; 发送时间: 2020年3月16日(星期一) 下午2:34 收件人: "LioRoger/subscribe_example"<subscribe_example@noreply.github.com>; 抄送: "JJ "<875110031@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [LioRoger/subscribe_example] 这个kafka的代码下载下来 配置相应的参数无法获取到数据 (#13) 这个简单，你只要把每次获取的record时间拿到，保存下来，下次搞进去就行， Date dtsTime = new Date(record.getRecord().getSourceTimestamp() * 1000)，这样就拿到了当前这条记录的产生时间， — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

你程序能跑成功吗？

GXG123456 commented 4 years ago

能啊，你看看你的配置是不是对的。我之前的配置好像不对就会报这个错。

neojayway commented 4 years ago

请问你们监听成功了吗？为啥我一直报kafka超时。还有Checkpoint的topicPartition老是为null

我也是超时，你们最终怎么解决的