search

apache / linkis

Apache Linkis builds a computation middleware layer to facilitate connection, governance and orchestration between the upper applications and the underlying data engines.
https://linkis.apache.org/
Apache License 2.0
3.3k stars 1.17k forks source link

[Report] Linkis Community Meeting Report #2106

Open Andywli opened 2 years ago

Andywli commented 2 years ago

Linkis 开发者例会介绍

随着Linkis的开发者越来越多，需要建立起一个沟通机制；因此2022年开始，我们就建立起Linkis开发者双周例会的形式。

例会的简要说明：

每一期的例会，都会通过WDS小助手和Apache邮件进行通知。 强烈建议订阅Apache邮件，及时了解社区最新进展。 订阅攻略：《想了解WeDataSphere最新进展，请订阅Apache邮件列表~~》

文档链接

1、《周例会议题文档》：记录周例会时间、主持人、议题等信息； 2、《Linkis孵化进展》：记录Linkis的版本进度、开发规范、社区管理等信息 3、《议题和问题收集》：记录例会议题、社区开发者提问、答疑等信息

已举办的例会

后续双周例会内容的更新迁移到Apache空间，详见链接：https://cwiki.apache.org/confluence/display/LINKIS/Meetings

Andywli commented 2 years ago

2022-01-19 会议主题：Apache Linkis(incubating) 双周例会 2022-01-19 会议时间：2022/01/19 19:00-20:00 (GMT+08:00) 中国标准时间 - 北京 点击链接入会，或添加至会议列表： https://meeting.tencent.com/dm/jYahlnCzG6YO

腾讯会议：643-318-164

主持人: 尹强@Apache Linkis(incubating) 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 主持人 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. Apache Linkis 优化功能项认领。 —— 夏晨 https://docs.qq.com/sheet/DWkZoRWdBQ2R0Z2ZK?tab=BB08J2
  3. 【固定议题】Apache Linkis1.1.0 进展同步。 —— 王小刚
  4. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  5. 基于GitHub进行开发和共建。 —— 尹强 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax 已更新
  6. 【固定议题】下一场例会的主持人。—— 李孟
Andywli commented 2 years ago

2022-02-09 会议主题：Apache Linkis(incubating) 双周例会 2022-02-09 会议时间：2022/02/09 19:00-20:30 (GMT+08:00) 中国标准时间 - 北京 点击链接入会，或添加至会议列表： https://meeting.tencent.com/dm/1fpcGgNf5X4R

腾讯会议：340-641-670

主持人: 李孟 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 主持人 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.0 进展同步。 —— 王小刚
  3. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  4. 【固定议题】下一场例会的主持人，欢迎认领。(王小刚)
  5. Apache Linkis1.0.3 特性简介。 —— （2.24分享）
  6. Apache Linkis 贡献指引 & 版本规划。 —— 夏晨 贡献指引 : https://linkis.apache.org/zh-CN/community/how-to-contribute 开发规范：https://linkis.apache.org/zh-CN/community/development_specification/overview Easy to Fix项列表 不定期更新：https://github.com/apache/incubator-linkis/issues/1161 任务项 不定期更新 : https://docs.qq.com/sheet/DWkZoRWdBQ2R0Z2ZK?tab=BB08J2 2022年版本规划 :https://docs.qq.com/sheet/DWkVIV0VhdHhpUGRB?tab=BB08J2
  7. 双周例会流程？ 提前3天邮件通知 并挂在github项目中disscussion栏中，参考apisix模式https://lists.apache.org/thread/2wtn55wkzh27373k9y8qq09843xs9oxn  https://github.com/apache/apisix/discussions?discussions_q=Community+Weekly+Meeting+
Andywli commented 2 years ago

2022-02-23 会议主题：Apache Linkis(incubating) 双周例会 2022-02-23 会议时间：2022/02/23 19:30-21:00 中国标准时间 - 北京 点击链接入会，或添加至会议列表： https://meeting.tencent.com/dm/cE6SdQIoSDEJ

腾讯会议：396-220-298

主持人: 王和平 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 主持人 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax

  2. 【固定议题】Apache Linkis1.1.0 进展同步。 —— 徐杰 代码合并，拉取到本地合并代码并进行编译，本地编译完成，完成100% release-notes整理，pr已分解 issue整理，同步pr提交， mail邮件讨论，同步pr提交， pr整理提交，已完成PR提交; 官网新增1.1.0版本文档，正在进行，完成度50% 测试用例，正在进行，完成度100% 版本测试，正在进行，完成度100%，已在本地环境部署LINKIS-DATASOURCE，MYSQL测试通过。 license等合规检查，正在进行，完成度100%

  3. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文

  4. 【固定议题】下一场例会的主持人，欢迎认领。

  5. 单元测试框架和代码编写规范同步。 —— 夏晨 https://linkis.apache.org/zh-CN/community/how-to-write-unit-test-code ● h2 数据的初始化问题，原始数据如何生成 ● 相同测试配置文件管控 抽离linkis-test 模块 ● 跑单测耗时如何优化(restful接口以springweb应用启动耗时) 锲约方式

  6. Apache Linkis(Incubating)新版本发布 MeetUP 介绍：--- 李文https://mp.weixin.qq.com/s/G-cxsLLpWV3eLns28hOjlA

  7. 新特性开放性讨论： a. 如服务数量优化，将computation相关的服务合成一个和publicservcie的服务合成一个，然后加上gateway合eureka，只用四个服务就好 b.服务名和文件名不能对上 c.linkis module 数量优化 d. 运维优化：查找问题比较麻烦，服务监控和治理，服务加监控和指标：JVM、LInkis本身的Metrics、告警（企业微信、钉钉）

Andywli commented 2 years ago

2022-03-09 会议主题：Apache Linkis(incubating) 双周例会 2022-03-09 会议时间：2022/03/09 19:30-21:00 中国标准时间 - 北京 点击链接入会，或添加至会议列表： https://meeting.tencent.com/dm/cE6SdQIoSDEJ

腾讯会议：396-220-298

主持人: 曾岸林 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 曾岸林 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.0 进展同步。 —— 徐杰 代码合并，拉取到本地合并代码并进行编译，本地编译完成，完成100% release-notes整理，pr已分解 issue整理，同步pr提交， mail邮件讨论，同步pr提交， pr整理提交，已完成PR提交; 官网新增1.1.0版本文档，正在进行，完成度50%，预计3.10完成 测试用例，正在进行，完成度60%，已经提交，不影响正是发版，缺少的后续补上。 版本测试，正在进行，完成度100%，已在本地环境基本测试通过。 license等合规检查，已提交，完成度100%
  3. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  4. 【固定议题】下一场例会的主持人，欢迎认领。
  5. 爱奇艺主导版本大体需求方案讨论——王震 6、3月社区Meetup活动方案讨论。——李文 7、社区导师招募方案讨论。——李文 8、社区招聘版块讨论。——李文
Andywli commented 2 years ago

2022-03-23 会议主题：Apache Linkis(incubating) 双周例会 2022-03-23 会议时间：2022/03/23 19:00-21:00 中国标准时间 - 北京 点击链接入会，或添加至会议列表： https://meeting.tencent.com/dm/cE6SdQIoSDEJ

腾讯会议：396-220-298

主持人: 王小刚 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 王小刚 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.0 进展同步。 —— 徐杰
  3. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  4. 【固定议题】下一场例会的主持人，欢迎认领。
  5. 爱奇艺主导版本大体需求方案讨论——王震 https://docs.qq.com/desktop/mydoc/folder/UsJILjVSaibB
  6. 去 HDFS 版本讨论：https://docs.qq.com/desktop/mydoc/folder/UgmABbCYrCmb
Andywli commented 2 years ago

2022-04-06 会议主题：Apache Linkis(incubating) 双周例会 2022-04-06 会议时间：2022/04/06 19:30-21:00 (GMT+08:00) 中国标准时间 - 北京 点击链接入会，或添加至会议列表： https://meeting.tencent.com/dm/cE6SdQIoSDEJ

腾讯会议：396-220-298

主持人：介龙平 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 介龙平 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax 1） 开发环境的使用需要完善使用文档，微众内部跟进中 2） 测试工具，git action单元测试覆盖率工具，微众内部跟进中 3） 异常规范（datasource）异常码优化，徐杰跟进中 4） 版本发布流程文档需要进一步优化，王小刚跟进中
  2. 【固定议题】Apache Linkis1.1.1 进展同步。 —— 夏晨 https://docs.qq.com/sheet/DVWZLYlFVTWVrdmlr 1）该版本所涉及的功能代码已开发完成，详细文档和一些测试用例在完善中，以满足发版需要
  3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路 1）该版本所涉及的功能代码已开发完成，需要完成剩余待办的issue，文档和一些测试用例在完善中，以满足发版需要
  4. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 1）部分代码已合并，其余功能在开发中
  5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  6. 【固定议题】下一场例会的主持人，欢迎认领。 王震

Apache会议总结：https://lists.apache.org/thread/gl4gkoo1os38ho0nbc6n20xcr645zpfx

Andywli commented 2 years ago

2022-04-20 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/04/20 19:00-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：王震 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 王震 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.1 进展同步。 —— 夏晨 https://docs.qq.com/sheet/DVWZLYlFVTWVrdmlr 进展：自测测试完成，在梳理文档，升级指引文档（表变动），预计 5.1 之前开始投票 讨论：对应的升级文档指引，涉及到udf的表变动，是否每个版本如果涉及大的变动需要有推荐的升级指引流程文档
  3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路 进展：去 HDFS 测试通过，大部分特性已经提交带测试，预计 5 月份发布 讨论：windows 上面启动调试 linkis
  4. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 进展：大部分代码已经完成，测试遇到问题待解决，缺少文档和单元测试 讨论：Presto 引擎将通过实现，不同的 EngineConnExecutor 来兼容 Presto 和 Trino
  5. 【临时议题】Linkis 部分特性讨论 —— 王和平 ● 参数支持实时修改生效，不需要重启服务，现在修改linkis参数需要重启服务，建议支持刷新 ---- 引入配置中心（王震） ● 任务支持接口重拉，现在如果entrance服务挂掉后，一般会将任务标记为取消，但是很多场景需要将这些任务进行重拉，建议加上这个功能 ---- 异常失败任务重拉 ● 客户端也支持任务重试，现在Orchestrator支持LinkisRetryException重试10次，但是很多时候通过客户端调用的时候最好也支持重试，通过判断任务是否支持重试进行重试。需要修改任务记录表加上重试字段。 ---- 徐杰 ● Linkis支持灰度更新，基于eureka下线机制 ---- entrance 服务有状态，王震 ● 管理台支持引擎物料资源更新、查看，ec的界面化安装 ---- 开源之夏（夏晨）
  6. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  7. 【固定议题】下一场例会的主持人，欢迎认领。 --- 陆小龙 临时议题： 最近两周的GitHub上的动态同步，后续要不要作为一个固定事项讨论(如新增了那些bug，新合入的pr特性修复说明等) 这个文档的顺序要不要调整下 --- 李文（done）
Andywli commented 2 years ago

2022-05-11 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/05/11 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：陆小龙 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 陆小龙 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.1 进展同步。 —— 夏晨 https://docs.qq.com/sheet/DVWZLYlFVTWVrdmlr 已发起incubator投票，开发工作完成，需要准备推文，官网连接更新。非默认引擎放到腾讯存储。
  3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路 规划的特性开发完成，安全漏洞升级，正在撰写文档，周五部署做回归测试
  4. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 测试环境就绪，presto跑通，本周末合代码。（社区环境后续开放web ssh，提供账号密码，具体方式待定），LKIP需要震哥补充。
  5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文 可以把微信转到邮件列表，每天转发具体合并多少封待定，内容还需要整理，社区自愿者可以来帮忙做一下这个事情比同一个人发比较好，主要体现社区的交流留痕。 下次开发者例会、讨论议题、新增议题通过邮件来交流 第三期meetup策划，2位讲师；6月初工作日晚上；徐哥、龙介平
  6. 【固定议题】上次会议临时议题采纳情况 —— 王和平 a. 客户端支持任务失败重试，SDK支持配置重试次数 徐杰已经认领，并提交了LKIP b. Linkis支持灰度更新（可能需要测试下软链），流量控制，entrance已经运行的任务必须要能到之前的entrance 陶克路已经认领 【临时议题】提问社区答疑 —— 邸帅 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=09kxt8
  7. 【固定议题】下一场例会的主持人，欢迎认领。 --- 徐杰
  8. 新增议题：LKIP-4 降低新用户试用门槛；-- 邸帅 帅哥先整理，到时候找社区伙伴认领 提供swagger文档---- 曾岸林

近期动态 :

  1. 单元测试偶现的失败问题 DataSourceDaoTest.testSelectByPageVo #2097 王震 未复现，需要重现
  2. 新特性 分部署一键安装的部署 一键安装脚本，实现对多机器的分布式的一键部署，以及分布式服务的启停
  3. 增强 引擎启动后 服务端口和远程调试端口支持配置端口段 #2089 孙顺 待合并
  4. Apache-rat:check对 license头部检测误判问题，导致文件遗漏 要注意中文注解#2083 尽量用英文
  5. 高并发下，engineConn在创建和修改标签信息时可能会死锁的问题 #2099 已修复，已压测
  6. 数据源优化 #2082 入参优化
  7. JDBC引擎运行参数名未统一问题 #2081 龙平
  8. Linkis jdbc引擎支持多数据源 #2092 龙平
  9. flink引擎的优化 Flink 配置变量。启用在 Flink 引擎中上传本地资源？支持 kerberos 上下文 #2073 已合并 德义
  10. GatewayURL 添加到 Headers，key 为 GATEWAY_URL，Value 为网关对应的 URL #2071 已合并
  11. 使用Task id作为日志的trace id #2058 已合并
  12. 使用 python3 找不到“/appcom/Install/anaconda3/bin/python” #2091 修改默认路径
Andywli commented 2 years ago

2022-05-25 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/05/25 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：徐杰

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 徐杰 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.1 进展同步。 —— 夏晨 https://docs.qq.com/sheet/DVWZLYlFVTWVrdmlr 投票结束，2022-05-25发版邮件，这周发公众号软文，基本完成。
  3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路 测试完成，文档完成，等待1.1.1发版完成
  4. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 代码已完成合并，文档与测试用例正在准备准备 另外1.1.3 新特性代码已提交，补充单元测试，文档在完善，孙顺主持
  5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文 开源社区运行指标增长正常，committer与pr等核心指标增长符合预期，从最近两周发出的公众号的推文来看，开发者们是比较关注技术层面的，还有Linux或者WDS相关的组件的一些新版本的发布，而对于其他的活动类的些软文类的文章关注度一般。 贡献者证书和摆台登记人数28人，总数为80人，需要进一步联系。 已经在B站等网站推出如何成为开发者视频，建议是从文档较为简单的方式开始。已经有7个志愿者通过文档开始给社区做贡献。 星策社区meetup，观看人数达到4000+，但是没有带给社区带来流量增长。 6月9日周四晚上，开展社区meetup活动，双周会延期一周至6月15日举行。
  6. 【临时议题】测试环境白名单访问机制 —— 王和平 安全原因，现有的测试环境不能正常接入，需要采购如阿里云等外部资源进行重新部署，需要微众内部进一步进行沟通资源申请问题。
  7. 【临时议题】Apache Linkis1.1.3特性介绍(Prometheus监控) —— 孙顺 主要介绍了Linkis Prometheus监控架构涉及及部署方案，主要监控的数据在JVM、NETWORK，如有需要天翼云这边可贡献成功与失败任务数等更贴近业务的指标监控。
  8. 【临时议题】Linkis容器化开始启动 —— 陶克路 Linis容器化开始启动开发，天翼云可提供一些代码与思路配合。
  9. 【临时议题】基于linkis&dss 1.X版本的，周边组件适配情况—— 邸帅 强哥汇报了各个系统的版本规划情况，及各个版本之间的依赖关系。
  10. 【固定议题】下一场例会的主持人，欢迎认领。 延期一周，6月15日举行，辉哥主持
  11. 【临时议题】开发者问题答疑 https://docs.qq.com/sheet/DUlJIREJKaHlVVUVU?u=444994d9ce1841d3af5bb0d65efbe4a9&tab=ggfj6i 针对资源使用问题，建议用户从1.0.2升级至1.0.3以上版本，1.1.2将作为为长期支持版本。 k8s部署linkis存在，由于采用overlap网络，服务ip和端口是随机的，再重启的时候，linkis把eurka地址存在本地数据库中，导致重启后还是连接之前地址，建议不保留不必要的信息在数据库中， 数据源贯穿整个数据治理，如果在linkis中配置，不利于扩展和使用，主要Linkis数据源是针对工具开发使用，而非公司统一使用的数据源。

配置参数变化 是否需要在源码库中增加一个参数变化记录的md文档 近期动态 已合并

  1. https://github.com/apache/incubator-linkis/pull/2168 FileSource中文件类型支持变量配置 介龙平 已合并
  2. https://github.com/apache/incubator-linkis/issues/2124 优化结果集路径以日期分隔，解决单个文件夹子目录过多问题 不同日期的resustset路径在同一个文件夹，如“/tmp/linkis/hadoop/linkis/20220516_210525/IDE/40099”，可能会导致一个文件夹下文件太多 已合并 hdfs目录个数有限制
  3. https://github.com/apache/incubator-linkis/pull/2109 添加sqoop引擎插件的支持 已合并
  4. https://github.com/apache/incubator-linkis/issues/2103 修复了未使用 kerberos，在执行JDBC引擎任务时 kinit 线程启动的错误 已合并
  5. https://github.com/apache/incubator-linkis/issues/2110 移除了源码中的二进制文件.mvn/wrapper/maven-wrapper.jar，调整.mvn/*相关的LICENSE说明
  6. https://github.com/apache/incubator-linkis/pull/2113 升级 py4j-0.10.7-src.zip 至 py4j-0.10.9.5-src.zip
  7. https://github.com/apache/incubator-linkis/pull/2116 linkis-storage 模块将 cglib 替换为spring 内置的cglib
  8. https://github.com/apache/incubator-linkis/pull/2131 移除对pandas的引入，解决python引擎因为缺失依赖导致启动失败的问题
  9. https://github.com/apache/incubator-linkis/pull/2133 数据源kafka与hive的临时存储路径增加检查自动创建目录功能
  10. https://github.com/apache/incubator-linkis/pull/2142 修复JDBC Engine 控制台配置修改后无法立即生效的问题（cache时间调整为配置项）
  11. https://github.com/apache/incubator-linkis/pull/2160 任务提交的消费队列支持配置特定大容量用户
  12. https://github.com/apache/incubator-linkis/pull/2161 新增对结果集导出到 excel文件时，自动格式化参数的支持

待合并

  1. https://github.com/apache/incubator-linkis/pull/2173 添加presto引擎插件的支持
  2. https://github.com/apache/incubator-linkis/pull/2164 entrance 支持任务重试次数的参数- RetryCountLabel Asf头部缺失
  3. https://github.com/apache/incubator-linkis/pull/2163 增加任务与执行EC的记录，EC信息记录到任务的 Metrics字段中
  4. https://github.com/apache/incubator-linkis/pull/2159 EC的log日志支持按大小和时间切割滚动
  5. https://github.com/apache/incubator-linkis/pull/2150 common和entrance模块都存在自定义变量替换的逻辑，优化聚集到common模块中处理
  6. https://github.com/apache/incubator-linkis/pull/2147 dependabot的gson从2.8.5升级至2.8.9
  7. https://github.com/apache/incubator-linkis-website/pull/265 引擎实现细节文档补充 待合并 构建失败

issue

  1. https://github.com/apache/incubator-linkis/issues/2144 不同系统编译出现shell脚本授权+x权限失败问题 陶克路跟进
  2. https://github.com/apache/incubator-linkis/issues/2141 将 JDBC 引擎中的 dbcp 更改为 dbcp2
Andywli commented 2 years ago

2022-06-15 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/06/15 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：陶克路 议题:

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.1 发布完成。 发布完成
  3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路 发布邮件已经准备好，准备发布。（update: 6/16 发布邮件已发布）
  4. 【固定议题】Apache Linkis1.1.3 进展同步 —— 夏晨 本次发布的 release manager(PPMC)待确定 release-notes: https://github.com/apache/incubator-linkis/issues/2287 本周开始测试
  5. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 代码已完成合并，文档和测试用例准备中
  6. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  7. 【固定议题】下一场例会的主持人，欢迎认领。 张华金已认领
  8. 【临时议题】开发者问题答疑 https://docs.qq.com/sheet/DUlJIREJKaHlVVUVU?u=444994d9ce1841d3af5bb0d65efbe4a9&tab=ggfj6i
  9. 【临时议题】Committer 介绍 王和平介绍了社区新增的5位 committer: 介龙平，张华金，陶克路，徐杰，陆小龙
  10. 【临时议题】内测邀请 Linkis 以及 DSS、Scripts 等多组件会在未来两周内进行发布，邀请各个团队进行内测，欢迎感兴趣的团队和同学和尹强进行联系
Andywli commented 2 years ago

2022-06-29 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/06/29 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：张华金 议题:

议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.1 发布完成。
  3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路 1.1.2-RC2投票进行中。
  4. 【固定议题】Apache Linkis1.1.3 进展同步 —— 夏晨 release manager：杨峙岳担任 release-noteshttps://github.com/apache/incubator-linkis/issues/2287 测试进行中。
  5. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 测试进行中。
  6. 【固定议题】Apache Linkis1.2.1进展同步。 —— 朱辉 开发进行中。
  7. 【固定议题】Apache Linkis1.3.0进展同步。 —— 陶克路 开发进行中。
  8. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  9. 【固定议题】下一场例会的主持人，欢迎认领。 王和平已认领
  10. 【临时议题】开发者问题答疑 https://docs.qq.com/sheet/DUlJIREJKaHlVVUVU?u=444994d9ce1841d3af5bb0d65efbe4a9&tab=ggfj6i
  11. 【临时议题】容器化制作镜像时mysql driver问题讨论。 针对三种方案进行投票：下载、自行构建镜像、兼容PG
  12. 【临时议题】内测进展同步 本周启动，邀请各个团队进行内测，欢迎感兴趣的团队和同学和尹强进行联系
  13. 【临时议题】发布征文议题 例如HDP版本适配。
  14. 【临时议题】文档修改 双周例会文档增加最新版本核心功能、规划功能表格。
  15. 【临时议题】Script功能、数据源功能权限方案讨论。 数据源功能由管理员进行添加，针对用户、子应用进行授权。 Script数据库浏览功能计划支持多数据源。
Andywli commented 2 years ago

第12期：2022-07-13 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/07/13 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：夏晨 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
  2. 【固定议题】Apache Linkis1.1.2 发布完成。 —— 陶克路 已发布完成
  3. 【固定议题】Apache Linkis1.1.3 进展同步 —— 夏晨 release manager：杨峙岳担任 release-noteshttps://github.com/apache/incubator-linkis/issues/2287 测试进行中
  4. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 Presto 和ElasticSearch 引擎使用文档, Pr待提交 todo 单测用例补充 王震 module 模块添加 王震 打包编译文档更新 casionxia
    使用文档补充 介龙平 新特性文档的补充 测试进行中
  5. 【固定议题】Apache Linkis1.2.1进展同步 —— 朱辉 主要是 Trino 引擎, 开发中 pr已提交 todo 合并到jdbc引擎特性
  6. 【固定议题】Apache Linkis1.3.0进展同步。 —— 陶克路 容器化第一期 github 容器镜像工作流
  7. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  8. 【固定议题】下一场例会的主持人，欢迎认领。 —— 鲍洋
  9. 【临时议题】开发者问题答疑 https://docs.qq.com/sheet/DUlJIREJKaHlVVUVU?u=444994d9ce1841d3af5bb0d65efbe4a9&tab=ggfj6i
  10. 【临时议题】基础数据管理服务功能特性 --陶志强
  11. 单测覆盖率 夏晨 模块拆分
  12. 项目近期PR/issue 动态同步 待补充
Andywli commented 2 years ago

第13期：2022-07-27 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/07/27 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：鲍洋 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax

  2. 【固定议题】Apache Linkis1.1.3 进展同步 —— 夏晨 release manager：杨峙岳担任 release-noteshttps://github.com/apache/incubator-linkis/issues/2287 incubator 社区投票中 https://lists.apache.org/thread/wbmq5k4bn4x71q4xw9rm26l19kvzg151

  3. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 Presto 和ElasticSearch 引擎使用文档, Pr已提交 todo 单测用例补充 王震 待完善 module 模块添加 王震 待完善 打包编译文档更新 夏晨 待完善 使用文档补充 介龙平 需提交 新特性文档的补充 夏晨 待完善 1.2.0预计发版时间: 8月中下旬

  4. 【固定议题】Apache Linkis1.2.1进展同步 —— 朱辉 主要是 Trino 引擎, 开发中 pr已提交 todo 合并到jdbc引擎特性

  5. 【固定议题】Apache Linkis1.3.0进展同步。 —— 陶克路 容器化第一期 github 容器镜像工作流(提交pr,待合并)

  6. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文

  7. 【固定议题】下一场例会的主持人，欢迎认领。 —— 孙顺

  8. 【临时议题】开源之夏引擎物料管理项目开发进展、功能演示和问题答疑。——杨云 下次例会演示效果

  9. 【临时议题】讨论如何管理社区用户使用问题和建议。——张华金、李文 解决方案： Issue用起来，推荐用英文；实在英文描述不清楚，可以使用中英文(使用google翻译成英文) QA文档答疑优先级降低，引导用户去提Issue，能得到更快捷的回复； 整理当前的QA文档，到官网和Confluence(需要进行细化分类、解答、优秀标签) QA文档存放常见问题，只允许读； 使用语雀做QA常见问题； JIRA APACHE；

  10. 【临时议题】APACHE 产品名称使用说明https://linkis.apache.org/zh-CN/community/apache-product-name-usage-guide/

  11. 【临时议题】开发者问题答疑 https://docs.qq.com/sheet/DUlJIREJKaHlVVUVU?u=444994d9ce1841d3af5bb0d65efbe4a9&tab=ggfj6i dss中对工程暂不支持部门级别和用户组的管理 schedulis 0.7.0 对已经失败重跑的任务暂不支持 基于已经部署好后的全部组件(大包),复制过来执行部署,待测试 能否基于CDH(主流版本)专门打一个包 1.2.0适配k8s

Andywli commented 2 years ago

第14期：2022-08-10 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/08/10 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：孙顺 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 -- 测试环境暂无进展，难点: 外部用户VPN IP变化
    -- 成立单元测试 SIG小组

  2. 【固定议题】Apache Linkis1.1.3 进展同步，已完成发布 3. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 Presto 和ElasticSearch 引擎使用文档, Pr已提交 todo 单测用例补充 王震 待完善 module 模块添加 王震 已完成 使用文档补充 介龙平 待提交 DSS - 前端，跨域问题 --> DevServer代理配置 DSS前端 roadmap: iframe --> 微前端 打包编译文档更新 夏晨 待完善 测试域名已经提交PR，background: 目录结构调整 新特性文档的补充 夏晨 待完善 1.2.0预计发版时间: 8月中下旬 --预备发版，准备release-note 4. 【固定议题】Apache Linkis1.2.1进展同步 —— 朱辉 主要是 Trino 引擎, 开发中 pr已提交 merge至dev分支，完善测试用例 (1)部分基于JDBC模式的Trino应该合并到JDBC引擎中，目前还在增强中，比如进度显示。 (2) Tribo客户端部分完成。对于大多数常见的用例，应该只支持Read模式。

  3. 【固定议题】Apache Linkis1.3.0进展同步。 —— 陶克路 容器化第一期 github 容器镜像工作流(提交pr,待合并) --> CI分支可用，待合并进master --> 列举后继改进空间 6. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文 7. 【固定议题】下一场例会的主持人，欢迎认领。 —— 陶时 8. 【临时议题】8月27日WDS年中大会筹备进展。 —— 李文 会议议程介绍 9. 【临时议题】 CDH和HDP的SIG小组 -- 夏晨 背景: Linkis默认只支持原生hadoop集群，需要做一些适配工作来适配CDH & HDP hadoop集群，对新用户的阈值较高。因此建议由有经验的社区成员组成一个SIG小组，合作推进适配工作，并与社区新用户交流，回答关于CHD & HDP集群的问题。 建议: 维护一个特定的分支会比较棘手，它会跟踪主分支，最好在代码中实现适配逻辑，即使是不同版本的外部组件，可参考iceberg或zeppelin。

  4. 【临时议题】 社区运营挂靠深圳金链盟(金融区块链联盟，基金会) 大数据平台工作 -- 邸帅 WDS - 开源管理办公室建议，社区运营挂靠于深圳金链盟(金融区块链联盟，基金会) 大数据平台工作组，有助于社区运营推广，可以得到更加灵活的安全管控与资源支持。 11. 【临时议题】代码风格规范 -- 许灵 代码格式，谷歌java风格，AOSP，统一为双空格缩进，设置最大行长(100->120) 12. 【临时议题】物料包特性演示 -- 杨云

Andywli commented 2 years ago

第15期：2022-08-24 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/08/24 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：陶时 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 -- 测试环境 难点-VPN IP变化 暂无进展 --单元测试 SIG小组(陶时、bao洋、金福、彬彬)

  2. 【固定议题】Apache Linkis1.1.3 进展同步，已完成发布

  3. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 Presto 和ElasticSearch 引擎使用文档, Pr已提交 todo 单测用例补充 王震 待完善 module 模块添加 王震 已完成 使用文档补充 介龙平 已提交 多数据源DSS前端功能已提交PR -- 介龙平 已提交 https://github.com/WeBankFinTech/DataSphereStudio/pull/941 DSS - 前端，跨域问题 --> DevServer代理配置 DSS前端 roadmap: iframe --> 微前端 打包编译文档更新 夏晨 已完成 测试域名已经提交PR，background: 目录结构调整 新特性文档的补充 夏晨 已完成 1.2.0预计发版 正在社区dev邮件投票中 投票邮件https://lists.apache.org/thread/2c73slmnmmyhlj433jf6dkdd21q6x0kn

  4. 【固定议题】Apache Linkis1.3.1进展同步 —— 朱辉 主要是 Trino 引擎, 开发中 pr已提交 merge至dev分支，完善测试用例 (1)部分基于JDBC模式的Trino应该合并到JDBC引擎中，目前还在增强中，比如进度显示。 (2) Tribo客户端部分完成。对于大多数常见的用例，应该只支持Read模式。
    补充测试用例，优先工具类，其次executor，依赖server 的部分，仅写示例。

  5. 【固定议题】Apache Linkis1.3.0进展同步。 —— 陶克路 容器化第一期 github 容器镜像工作流(提交pr,待合并)，CI分支可用，待合并进master

  6. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文

  7. 【固定议题】下一场例会的主持人，欢迎认领。 —— 郝金福

Andywli commented 2 years ago

第16期：2022-09-07 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/09/07 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ

会议号：396-220-298 主持人：郝金福 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 -- 测试环境 难点-VPN IP变化 暂无进展 80个 issue 认领11 待认领69 -- 单元测试情况同步 鲍洋 -- 代码格式优化进展 鲍洋 89个模块 https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax

  2. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震 -- todo 单测用例补充 王震 待完善 -- 1.2.0 投票已完成 -- 公众号推文

  3. 【固定议题】Apache Linkis1.3.0 进展同步。 —— 陶克路 -- 版本号的升级 已完成 -- 容器化的测试&使用文档
    -- 特性文档的归纳和补充 -- release-note的准备 自动化部署测试docker

  4. 【固定议题】Apache Linkis 1.3.1 进展同步。 —— 朱辉 nacos 测试用例 引擎使用文档(引擎参数的配置)

  5. 【固定议题】Apache Linkis 1.3.2 需求规划。 —— 郗世豪 SparkSubmit 提交插件 ("engineConnMode":"once") UDF 按需加载

  6. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文

  7. 【固定议题】下一场例会的主持人，欢迎认领。 —— 王和平

  8. 【新增议题】WDS社区伙伴加入金链盟初步意愿确认。 —— 邸帅

  9. 【新增议题】前端页面国际化内容规范&http api 接口风格规范。 ——夏晨 https://ux.stackexchange.com/questions/79389/first-character-of-table-column-name-in-upper-case

requestmapping 的path命名 为 basedata_manager/udf_manager ->basedata-manager/udf-manager

问题1 代理用户读结果集 没有权限 ,传参需要指定用户？visiualis 接口修改 framework-project 目录权限问题导致启动失败 问题2 cdh spark jetty启动失败 问题3 代码格式不规范

在线热更新 1.2.0 灰度下线 备用服务 mybatisplus 自动生成工具的使用文档规范问题 陶志强

Andywli commented 2 years ago

第17期：2022-09-21 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/09/21 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：王和平 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 -- 测试环境 难点-VPN IP变化 暂无进展 80个 issue 认领11 待认领69 -- 单元测试情况同步 鲍洋 issue 认领17 待认领63 -- 错误码优化同步 成彬彬

  2. 【固定议题】Apache Linkis1.3.0 进展同步。 —— 陶克路 -- 版本号的升级 已完成 -- 容器化的测试&使用文档
    -- 特性文档的归纳和补充 -- release-note的准备 自动化部署测试docker

    1. dss-gateway-support打入到容器里面
    2. 开源测试环境的防火墙问题：

  3. 【固定议题】Apache Linkis 1.3.1 进展同步。 —— 朱辉/李孟/陶志强

    1. 基础数据管理展示
    2. 多数据源和 seatunnel 、trino引擎进展同步
    3. 不满足协议的数据源驱动需要在文档进行说明

  4. 【固定议题】Apache Linkis 1.3.2 需求规划。 —— 郗世豪/李孟

    1. 1.3.2进展 郗世豪 sparksubmit 开发进度 50% 需要讨论是否放到Spark ecp中 spark 通过json进行etl 开发进度 80% 数据源通过URL进行配置 udf 按照id加载 开发进度 30%
    2. Linkis thrift 协议实现

  5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文 合规问题：

    1. 前端目录命名修改，将dss优化为正确的名字

  6. 【固定议题】下一场例会的主持人，欢迎认领。陶志强 ，10月12号

Andywli commented 2 years ago

第18期：2022-10-12 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/10/12 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/dRpgM8ILpetW 会议号：600-692-028 主持人：陶志强 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 -- 测试环境 难点-VPN IP变化 暂无进展 80个 -- 单元测试情况同步 鲍洋 issue 认领26 待认领54 -- 错误码优化同步 成彬彬
  2. 【固定议题】Apache Linkis1.3.0 进展同步。 —— 陶克路 -- 版本号的升级 已完成 -- 容器化的测试&使用文档
    -- 特性文档的归纳和补充 -- release-note的准备 自动化部署测试docker
    1. dss-gateway-support打入到容器里面
    2. 开源测试环境的防火墙问题：
  3. 【固定议题】Apache Linkis 1.3.1 进展同步。 —— 朱辉/李孟/陶志强
    1. 基础数据管理-引擎参数管理如何开发？ 引擎物料管理、默认地址、key的配置
    2. 多数据源和 seatunnel 、trino引擎进展同步：开发完成，进入review
    3. 不满足协议的数据源驱动需要在文档进行说明 - 写入linkis-website 4.分布式锁优化
  4. 【固定议题】Apache Linkis 1.3.2 需求规划。 —— 郗世豪/李孟
    1. 介绍进展 李孟
    2. 1.3.2进展 郗世豪 sparksubmit 开发进度 50%，待讨论 需要讨论是否放到Spark ecp中 spark 通过json进行etl 开发完成，自测中 数据源通过URL进行配置 udf 按照id加载 开发完成，自测中 spark 插件方式 是否能放进去
    3. Linkis thrift 协议实现 瘦客户端方式，刚梳理链路
  5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文 合规问题：
    1. 前端目录命名修改，将dss优化为正确的名字
  6. 【固定议题】下一场例会的主持人，欢迎认领，李孟。
  7. 【临时议题】编译性能优化：1. 减少模块数，如何进行合并 社区用户问题： Mask: 1.缺乏文档、希望能支持hdp 2.表结构注释缺失 国彬兄：
  8. 数据质量是否能抽离，不依赖hive sargentdi：
  9. 尝试适配发布CDH或HDP的版本
  10. 考虑是否去除qq群 石陶元兄：
  11. DSS集成第三方系统这个有没有详细一点的案例呢，就怎么写appconn a. 如何实现appconn逻辑的文档 小新没蜡笔：
  12. appconn 接入三方 ip和端口 如何填？
  13. 大数据环境去除版本，上传bml脚本，会查找大数据环境，能否屏蔽 a. 加 《WeDataSphere开源社区小助手》咨询 华金兄： 1.部署脚本 支持多台机器分布式部署 暂不支持 欢迎大家一起参与linkis项目，提交PR
Andywli commented 1 year ago

第19期：2022-10-26 会议主题：Apache Linkis(incubating) 双周例会 会议时间：2022/10/26 19:30-21:00 腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ 会议号：396-220-298 主持人：李孟 议题：

  1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 -- 测试环境 难点-VPN IP变化 暂无进展 -- 单元测试情况同步 鲍洋 issue 认领30 待认领50
  2. 【固定议题】Apache Linkis1.3.0 已经发布。 —— 陶克路 1.推文准备
  3. 【固定议题】Apache Linkis 1.3.1 进展同步。 —— 朱辉/李孟/陶志强
    1. 多数据源和 seatunnel 、trino引擎进展同步：进入社区环境部署阶段
    2. 分布式锁优化
  4. 【固定议题】Apache Linkis 1.3.2 需求规划。 —— 郗世豪/李孟
    1. 1.3.2进展 郗世豪 sparksubmit开发完成（期望放到现有spark插件中，暂定通过修改 SparkSubmitProcessEngineConnLaunchBuilder 实现） spark通过json进行etl开发完成，正在提交PR（不规范的地方需要修改），数据源通过URL进行配置26日例会确定 udf 按照id加载 开发完成，正在提交PR
    2. Linkis thrift 协议实现 瘦客户端 client - jdbc server端-entrance
  5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
  6. 【固定议题】下一场例会的主持人，欢迎认领。 —— 黄定琦
  7. 【临时议题】支持Flink、trino等引擎类型的udf管理。—— 王和平
  8. 【临时议题】bml支持对接gitlab进行版本控制。—— 王和平
  9. 【临时议题】dss中的linkis-appconn-engineplugin能否直接迁移到linkis中，并默认安装，方便集成。—— 许灵
  10. 【临时议题】 hbase引擎需求 —— 曾岸林