alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.89k stars 5.42k forks source link

用datax从odps同步数据到elasticsearch,出现一直等待的情况 #176

Open iris-qq opened 6 years ago

iris-qq commented 6 years ago

情况是这样的,我们es有两个同步任务,第一个任务是写入的两个字段,userid、tags。cleanup=True。 每天早上的时候会先执行这个任务。 第二个任务同步写入,其实是追加数据,但是是三个字段,userid,openid,tags。cleanup=False。 这两个同步任务写入的es是同一个index和indextype。 第一个任务可以正常写入。但是第二个任务在写入的时候一直显示的是wait状态。并没有写入。曾经我怀疑是因为字段不一样所以无法导入。后来用python脚本测试了单条追加写入,确认是可以的。 不知道我描述的是否清晰。这个工作比较着急,所以来这里留言了,请帮助我,谢谢。

VincentSleepless commented 6 years ago

你是要做upsert 更新更多的列是么?