DataLinkDC / dinky

Dinky is a real-time data development platform based on Apache Flink, enabling agile data development, deployment and operation.
http://www.dinky.org.cn
Apache License 2.0
2.95k stars 1.08k forks source link

[Feature][admin] Clickhouse tasks support viewing history #3527

Open suxinshuo opened 1 month ago

suxinshuo commented 1 month ago

Search before asking

Description

现在只有 flink 类型的任务执行查看执行历史,但是其他类型的任务像 clickhouse、hive 也有查看执行历史的诉求。同时 flink 中的查看历史,目前预览数据功能还没有实现,希望可以实现 #2981 image image

Use case

其他非 flink 类型的任务也可以查看执行历史,执行历史可以预览数据

Related issues

2981

Are you willing to submit a PR?

Code of Conduct

Zzm0809 commented 1 month ago
  1. 数据预览有兴趣来实现吗??
  2. 普通 DB sql 类型作业的执行历史,暂时没有其实现价值故暂无此规划,如需实现请详细说明其必要性,再评估其是否支持
suxinshuo commented 1 month ago
  1. 数据预览有兴趣来实现吗??
  2. 普通 DB sql 类型作业的执行历史,暂时没有其实现价值故暂无此规划,如需实现请详细说明其必要性,再评估其是否支持
  1. 可以的,可以帮忙把 #2981 分配给我吗
  2. 当用在这两个场景的时候期望有执行历史的查询: 即席查询、任务开发过程中 当在即席查询场景下,一个任务可能会做多次修改,查询多次,每一次修改的可能都是有用的,比如我加上或者删除了某个筛选条件,执行以后我可能想要跟之前的执行结果做个对比,这两个 sql 的功能基本上是一样的而且是即席查询的数据分析场景,没必要再新建一个任务,这个时候就需要查看执行历史; 任务开发过程,目前是把 dinky 当做 ds 功能的补充,在 dinky 开发调试任务,这个时候也会多次修改任务,有的时候我会查看执行历史,看一下之前的 sql 是什么样的,跟现在的做 diff。

当然这些可能跟个人习惯有关系,我之前用的公司内部的即席查询和调度系统都有这个功能,具体的还需要社区评估一下,看是否有普适性

Zzm0809 commented 1 month ago
  1. 数据预览有兴趣来实现吗??
  2. 普通 DB sql 类型作业的执行历史,暂时没有其实现价值故暂无此规划,如需实现请详细说明其必要性,再评估其是否支持
  1. 可以的,可以帮忙把 #2981 分配给我吗
  2. 当用在这两个场景的时候期望有执行历史的查询: 即席查询、任务开发过程中 当在即席查询场景下,一个任务可能会做多次修改,查询多次,每一次修改的可能都是有用的,比如我加上或者删除了某个筛选条件,执行以后我可能想要跟之前的执行结果做个对比,这两个 sql 的功能基本上是一样的而且是即席查询的数据分析场景,没必要再新建一个任务,这个时候就需要查看执行历史; 任务开发过程,目前是把 dinky 当做 ds 功能的补充,在 dinky 开发调试任务,这个时候也会多次修改任务,有的时候我会查看执行历史,看一下之前的 sql 是什么样的,跟现在的做 diff。

当然这些可能跟个人习惯有关系,我之前用的公司内部的即席查询和调度系统都有这个功能,具体的还需要社区评估一下,看是否有普适性

1.已分配 感谢参与社区贡献。 2.如果实现的话可能需要一次大改,需要适配不同任务的任务执行实例。目前社区少部分用户确实也有此需求,如果对此需求较为强烈,可以根据目前已有逻辑出一个详细的提案,来进行讨论。谢谢。

github-actions[bot] commented 2 weeks ago

Hello @, this issue has not been active for more than 30 days. This issue will be closed in 7 days if there is no response. If you have any questions, you can comment and reply.

你好 @, 这个 issue 30 天内没有活跃,7 天后将关闭,如需回复,可以评论回复。