search

weibocom / rill-flow

Rill Flow is a high-performance, scalable workflow orchestration engine for distributed workloads and LLMs
https://rill-flow.github.io
Apache License 2.0
325 stars 41 forks source link

执行记录 存储相关疑惑 #75

Open ZhangTeng2017 opened 3 months ago

ZhangTeng2017 commented 3 months ago

仔细看了一下，有两个疑惑，还请有时间帮忙解答一下： 1、目前执行记录是存储在redis中的，请问你们生产环境也是这样存储的吗？没有做持久化吗？会不会存在很多大key的场景？ 2、目前UI上是没有context参数查询的接口的，后续是有相关的开发吗？有context 查询，排查问题可能比较容易一点

qdaxb commented 3 months ago

1、目前执行记录是存储在redis中的，请问你们生产环境也是这样存储的吗？没有做持久化吗？会不会存在很多大key的场景？ 生产环境执行中的记录在redis集群，执行后转到关系数据库，redis本身支持持久化。 大key指的是大value吗？不存在，生产环境中的大文件通过文件存储传输，不走redis。

2、目前UI上是没有context参数查询的接口的，后续是有相关的开发吗？有context 查询，排查问题可能比较容易一点 UI的流程列表-执行详情页面可以看到当前context 接口参考https://github.com/weibocom/rill-flow/blob/main/rill-flow-web/src/main/java/com/weibo/rill/flow/controller/DAGRuntimeController.java#L83

ZhangTeng2017 commented 3 months ago

我看目前的代码是走的redis，接口参考 http://www.localhost/flow/bg/get_execution_ids.json 还是你们生产环境是执行后转到关系数据库，当前开源版本是记录在redis中的

qdaxb commented 3 months ago

@ZhangTeng2017 生产环境是执行后转到关系数据库的，这部分逻辑目前没有开源。

ZhangTeng2017 commented 3 months ago

后续会有其他逻辑的开源计划吗？感觉要想用起来这个设计，还要自己改很多逻辑的样子