当使用starrocks-writer插件写数据至sr集群的时候,完全没有规律的会报一下异常
: Failed to connect to address:http://x.x.x.x:8030 java.net.SocketTimeOutException: connect time out
会导致整个datax的采集任务失败;
当我查看了下starrocks-writer插件源代码,发现每次写数据至sr集群时,会测试当前fe节点是否正常连接,我把这段代码复制出来进行单独测试,发现平均1K次会有0-5次左右失败,错误和上面的异常是能对应的;最终参考flink-starrocks插件,代码都相同,只是超时时间datax设置的1s,flink设置的是30秒,当把datax的超时时间修改为30s后,生产环境就比较稳定。
当使用starrocks-writer插件写数据至sr集群的时候,完全没有规律的会报一下异常 : Failed to connect to address:http://x.x.x.x:8030 java.net.SocketTimeOutException: connect time out
会导致整个datax的采集任务失败; 当我查看了下starrocks-writer插件源代码,发现每次写数据至sr集群时,会测试当前fe节点是否正常连接,我把这段代码复制出来进行单独测试,发现平均1K次会有0-5次左右失败,错误和上面的异常是能对应的;最终参考flink-starrocks插件,代码都相同,只是超时时间datax设置的1s,flink设置的是30秒,当把datax的超时时间修改为30s后,生产环境就比较稳定。
在sr集群中fe节点只有1个的时候这种情况比较常见。如果是3个节点那大概率是不会发生的。
所以能不能将datax中设置超时时间和flink中保持一致,都默认设置为30S?