search

vipshop / Saturn

The vip.com's distributed job scheduling platform.
Apache License 2.0
2.27k stars 698 forks source link

zookeeper上会出现job的config信息丢失，导致“未分配” #737

Open keith-java opened 3 years ago

keith-java commented 3 years ago

springboot工程内嵌使用saturn情况下，有时候因为发布重启应用会导致部分job出现config信息丢失问题，但是mysql中数据保存完好。通过分析源码，在执行节点启动的时候只有看到了config获取的逻辑，只有在创建job的时候才有写入zookeeper的信息，现在求助，写入zookeeper（$Job/jobtask/config）信息的入口有哪些？

gaoyuanzong commented 3 years ago

springboot工程内嵌使用saturn情况下，有时候因为发布重启应用会导致部分job出现config信息丢失问题，但是mysql中数据保存完好。通过分析源码，在执行节点启动的时候只有看到了config获取的逻辑，只有在创建job的时候才有写入zookeeper的信息，现在求助，写入zookeeper（$Job/jobtask/config）信息的入口有哪些？

我这边遇到了，在和zookeeper超时的时候会restart应用，有一定大概率此executor节点假死，任务分配不执行。不知道和你们这个情况一样不

gaoyuanzong commented 3 years ago

springboot工程内嵌使用saturn情况下，有时候因为发布重启应用会导致部分job出现config信息丢失问题，但是mysql中数据保存完好。通过分析源码，在执行节点启动的时候只有看到了config获取的逻辑，只有在创建job的时候才有写入zookeeper的信息，现在求助，写入zookeeper（$Job/jobtask/config）信息的入口有哪些？

版本为3.5.1,目前更换为3.4.1在跑跑

keith-java commented 3 years ago

springboot工程内嵌使用saturn情况下，有时候因为发布重启应用会导致部分job出现config信息丢失问题，但是mysql中数据保存完好。通过分析源码，在执行节点启动的时候只有看到了config获取的逻辑，只有在创建job的时候才有写入zookeeper的信息，现在求助，写入zookeeper（$Job/jobtask/config）信息的入口有哪些？

我这边遇到了，在和zookeeper超时的时候会restart应用，有一定大概率此executor节点假死，任务分配不执行。不知道和你们这个情况一样不

我们遇到的情况是在嵌入了saturn的应用在发布重启的时候偶尔就出现zk上面config信息丢失问题。我这边跟进了一下源码发现saturn是把zk同步mysql里面job信息代码丢弃了。所以想指导写zk有哪些入口

gaoyuanzong commented 3 years ago

springboot工程内嵌使用saturn情况下，有时候因为发布重启应用会导致部分job出现config信息丢失问题，但是mysql中数据保存完好。通过分析源码，在执行节点启动的时候只有看到了config获取的逻辑，只有在创建job的时候才有写入zookeeper的信息，现在求助，写入zookeeper（$Job/jobtask/config）信息的入口有哪些？

我这边遇到了，在和zookeeper超时的时候会restart应用，有一定大概率此executor节点假死，任务分配不执行。不知道和你们这个情况一样不

我们遇到的情况是在嵌入了saturn的应用在发布重启的时候偶尔就出现zk上面config信息丢失问题。我这边跟进了一下源码发现saturn是把zk同步mysql里面job信息代码丢弃了。所以想指导写zk有哪些入口

那和我们遇到的情况还是不同，目前我这边运行3.4.1版本后, 12个节点跑起来已经正常了。