didi / KnowStreaming

一站式云原生实时流数据平台,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛
https://knowstreaming.com
GNU Affero General Public License v3.0
7k stars 1.28k forks source link

KnowStreaming 202306专项优化 #1030

Open velee opened 1 year ago

velee commented 1 year ago
模块 类别 描述 优先级
权限/ACL BUG/前端 权限新增ACL,Group列表里面选择出来的是Topic列表
用户管理/角色管理 BUG 新增角色,如果不选择”系统管理“内的权限,后台报异常,### Error updating database. Cause: java.sql.SQLException: (conn=1048277) Field 'permission_id' doesn't have a default value
消费者 BUG/前端 消费组Offset重置后,提示重置成功,但是前端不刷新数据,Offset无变化
消费者 需求 消费组Offset重置目前只支持最新Offset和自定义时间,不支持重置到最旧Offset
消费者 需求 消费组Offset增加删除指定Topic的offset(--delete-offsets)或者删除整个消费组(--delete)
Topic BUG Topic message预览,Offset为0不显示数值
Topic 优化 Topic message预览,现在是按Timestamp列排序,需要按Offset排序,保证消息顺序性
Topic 优化 MessagesIn单位“千条/s”改为”条/s“
Topic BUG/后端 Topic的ACL信息展示不完整,如果是通过前缀授权,ACL未展示
Topic 需求 增加Truncate数据功能,实时数仓重新刷流需要清除历史数据(bin/kafka-delete-records.sh)
Connect BUG JMX端口维护信息错误,表 ks_kc_connect_cluster字段jmx_properties值由 { "jmxProperties": "7073" } 改为 { "jmxPort": "7073" }
Connect BUG 自定义的高级配置项,在JSON模式下未显示这些配置
Connect BUG Connector指标无法获取,无指标数据展示
Connect 优化 提交任务后只保存用户修改的配置,而不是将所有配置都保存起来,目前不论用户有没有修改配置都保存了所有的配置
Connect 优化 JSON模式下的JSON格式和官方API的格式不一致
Connect 优化 Connect配置项里面涉及敏感字段的值用*号代替,比如password
Connect 优化 Connect操作未接入权限管理,所有用户都可以重启、编辑、删除
Topic、消费者 优化 非图表类的指标值要实时获取,目前瞬时状态值都是要等1分钟后才能看到最新状态和指标,对于运维工作影响很大
Message生产、消费 优化 Message消费性能很差,很难实现消息过滤查询需求,另外消息Key和Value全部都是必填项(消息过滤查询需求场景很多)
HZSUZJ commented 1 year ago

这些部分,社区人员可以参加嘛

velee commented 1 year ago

这些部分,社区人员可以参加嘛

可以啊,稍后会提出issue出来,有兴趣的可以认领