search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.94k stars 5.43k forks source link

datax任务卡死 #719

Open macro-su opened 4 years ago

macro-su commented 4 years ago

日志打印读取的总量没有变化，一直卡在这 lALPDgtYt3sZz0fNAcjNBd8_1503_456

SamLamport commented 4 years ago

请问解决了吗，也遇到这个问题，在本地mac环境没问题

Cyxin1 commented 4 years ago

+1 遇到同样问题

Riefu commented 4 years ago

请问解决了吗，也遇到这个问题，在本地mac环境没问题

我们也遇到同样的问题，datax退出后打印的堆栈日志发现是远程连接被强制关闭，这个时间大概发生在同步程序执行超过30分钟后，刚好和我们的adb默认超时时间一致，mysql可以通过修改超时时间来解决这个问题。

zhangzhefang-dd01 commented 4 years ago

我遇到了 连接HIVE2 超时
at com.alibaba.datax.plugin.reader.HiveReader$Task.startRead java.net.SocketTimeoutException: Read timed out

qq28795326 commented 2 years ago

没有查到原因，不是每次都会出现，初步分析是卡到数据库写入。我的解决方案是如果任务一直卡着就关闭当前任务，按超时处理，参考这个：https://blog.csdn.net/u010978399/article/details/117963887

wwwiaskcom commented 2 years ago

这样关闭任务，数据会丢失？

jhao104 commented 4 months ago

我遇到了 连接HIVE2 超时 at com.alibaba.datax.plugin.reader.HiveReader$Task.startRead java.net.SocketTimeoutException: Read timed out

我也遇到了 怎么解决的

jiugem commented 4 months ago

我也遇到了 INFO信息那一行保持不变，当时间够长后，会内存溢出。调大JVM内存，重新执行任务正常。