beginor / beginor.github.io

https://beginor.github.io

7 stars 3 forks source link

Open beginor opened 6 years ago

beginor commented 6 years ago

使用 DataX 增量同步数据

beginor commented 6 years ago

再结合 cron 服务，就可以定时执行更新任务了

jackbon commented 5 years ago

现在Linux不支持docker，不适用docker的增量脚本怎么编写？

beginor commented 5 years ago

@jackbon 将 docker run 命令替换为对应的 datax 命令就可以了，道理是一样的

jackbon commented 5 years ago

怎么换，不会，缓存那条命令

jackbon commented 5 years ago

换成

beginor commented 5 years ago

如果你对 linux 命令没人任何理解的话，还是先学习一下吧

jackbon commented 5 years ago

你那个文档里面minute_data_max_time.json 这个里面存放的是什么？minute_data.json？是哪个文件，度没有这两个文件

beginor commented 5 years ago

@jackbon 那两个文件的内容我已经大部分贴在文中了，要根据你的数据表自行编写

jackbon commented 5 years ago

DataX可以实现hbase到Oracle的增量同步？

beginor commented 5 years ago

难道不能么，这不是 DataX 的强项么？

jackbon commented 5 years ago

这个怎么增量同步，hbase的怎么查询某项后的数据，比如rowkey，大于某个rowkey的所有值，rowkey只能支持范围查询，全表查询，然后是根据某个rowkey查询，有什么好的思路？

beginor commented 5 years ago

呵呵，具体怎么查就看你hbase功力了

jackbon commented 5 years ago

Datax有数据监控方面的应用？你用过没有，或者datax有队数据监控的？

beginor commented 5 years ago

没