ShiningRush / fastflow

A lightweight, high-performance distributed workflow framework
MIT License
348 stars 80 forks source link

feature: dag support mysql store #21

Open Wenne opened 1 year ago

Wenne commented 1 year ago

支持 mysql 存储

Wenne commented 1 year ago

@ShiningRush 大佬有空可以 review 一下

ShiningRush commented 1 year ago

好的,我周末看下,测试用例看起来有部分失败了,可以先修复下

Wenne commented 1 year ago

好的,我周末看下,测试用例看起来有部分失败了,可以先修复下

已修复~

ShiningRush commented 1 year ago

@Wenne hi,还麻烦补充下集成测试用例,参考之前的 store 和 keeper 的用例集即可,CI配置可以参考 #24

Wenne commented 1 year ago

工作时候事情有点多。。我周末再提交 pr 一个个修复下 comments

ShiningRush commented 1 year ago

工作时候事情有点多。。我周末再提交 pr 一个个修复下 comments

不急,慢慢弄,我最近事情比较多,也都是只有周末才能仔细瞅瞅代码 😄

Wenne commented 1 year ago

image 修改了一些 go race 检查出来的并发修改共享变量的问题,目前已经跑 ut,除了 mongo 那个 keeper ut case:并发在创建 monogo 客户端时,会报错,我先注释掉了。。 报错是这个,但是不理解为啥这个 db 会是空的。。我看在 init 里面构造了。。我也尝试过 sleep 一会再执行还是一样。 image

Wenne commented 1 year ago

@Wenne hi,还麻烦补充下集成测试用例,参考之前的 store 和 keeper 的用例集即可,CI配置可以参考 #24

已经修改了,并且在 ci 中启用了 integration test

ShiningRush commented 1 year ago

image 修改了一些 go race 检查出来的并发修改共享变量的问题,目前已经跑 ut,除了 mongo 那个 keeper ut case:并发在创建 monogo 客户端时,会报错,我先注释掉了。。 报错是这个,但是不理解为啥这个 db 会是空的。。我看在 init 里面构造了。。我也尝试过 sleep 一会再执行还是一样。 image

收到,我们先在github CI里跑跑看会不会有相同的error

codecov[bot] commented 1 year ago

Codecov Report

Attention: 503 lines in your changes are missing coverage. Please review.

Comparison is base (e6c7544) 60.02% compared to head (2feaf7c) 56.30%. Report is 1 commits behind head on master.

:exclamation: Current head 2feaf7c differs from pull request most recent head 8221432. Consider uploading reports for the commit 8221432 to get more accurate results

Files Patch % Lines
store/mysql/mysql.go 35.23% 281 Missing and 37 partials :warning:
keeper/mysql/mysql.go 66.47% 90 Missing and 28 partials :warning:
pkg/mod/commander.go 0.00% 35 Missing :warning:
store/mysql/utils.go 0.00% 21 Missing :warning:
pkg/entity/dag.go 0.00% 11 Missing :warning:
Additional details and impacted files ```diff @@ Coverage Diff @@ ## master #21 +/- ## ========================================== - Coverage 60.02% 56.30% -3.73% ========================================== Files 28 31 +3 Lines 2972 3886 +914 ========================================== + Hits 1784 2188 +404 - Misses 1045 1487 +442 - Partials 143 211 +68 ```

:umbrella: View full report in Codecov by Sentry.
:loudspeaker: Have feedback on the report? Share it here.

Wenne commented 1 year ago

项目上线了,特地再次来感谢大佬,让我这个从 java 临时转 go 的同学快速改造业务成 wfs 模型,非常感谢,框架小而轻,运维负担很小

ShiningRush commented 1 year ago

项目上线了,特地再次来感谢大佬,让我这个从 java 临时转 go 的同学快速改造业务成 wfs 模型,非常感谢,框架小而轻,运维负担很小

恭喜恭喜,能帮助到相同需求的人也是开源的初衷 这个PR看起来搁置比较久了,可以找时间重新推进下

ShiningRush commented 1 year ago

@Wenne hi,最近有空merge下主分支的变更吗,咱们一起看看有没有什么地方还需要调整的,没有的话可以考虑先merge再完善

mingmingshiliyu commented 1 year ago

项目上线了,特地再次来感谢大佬,让我这个从 java 临时转 go 的同学快速改造业务成 wfs 模型,非常感谢,框架小而轻,运维负担很小

hey,能把关于mysql的pr合进来么

ShiningRush commented 1 year ago

项目上线了,特地再次来感谢大佬,让我这个从 java 临时转 go 的同学快速改造业务成 wfs 模型,非常感谢,框架小而轻,运维负担很小

hey,能把关于mysql的pr合进来么

PR的作者看起来最近不太活跃,我觉得你可以尝试基于他的分支在你本地运行看看,我看看能不能通过邮箱联系到他。 你也可以fork一下他的分支,然后merge最新的变更进去 @mingmingshiliyu

mingmingshiliyu commented 12 months ago

项目上线了,特地再次来感谢大佬,让我这个从 java 临时转 go 的同学快速改造业务成 wfs 模型,非常感谢,框架小而轻,运维负担很小

hey,能把关于mysql的pr合进来么

PR的作者看起来最近不太活跃,我觉得你可以尝试基于他的分支在你本地运行看看,我看看能不能通过邮箱联系到他。 你也可以fork一下他的分支,然后merge最新的变更进去 @mingmingshiliyu

ok,我把他提交的搞出来

Wenne commented 11 months ago

hello 两位大佬 @ShiningRush @mingmingshiliyu 。。我这把 pr 修复好了,看看还有什么地方需要修改不

image

Wenne commented 11 months ago

@ShiningRush 有空帮忙 review 哈,我触发不了这边的 CI

Wenne commented 11 months ago

是需要补充 UT 覆盖率是吗? - -,我手头工作处理了补一下吧。

ShiningRush commented 11 months ago

是需要补充 UT 覆盖率是吗? - -,我手头工作处理了补一下吧。

这个还好,大的MR一般覆盖率是会低一些的(尤其涉及到存储层),你先不用管吧,我周末整体再review一下,没问题就merge吧。 我记得你分布式锁这些是还没实现的

Wenne commented 10 months ago

@ShiningRush 最新的 comments 我已经修复 or 进行了回复