Tencent / OpenSourceTalent

143 stars 15 forks source link

2022腾讯犀牛鸟开源人才培养计划-Apache Inlong #26

Closed tencent-adm closed 1 month ago

tencent-adm commented 2 years ago

腾讯犀牛鸟开源人才培养计划 Tencent Rhino-bird Open-source Training Program 2021年腾讯首次发布“犀牛鸟开源人才培养计划”,通过打造面向高校学生的开源课程和开源实践培养方案,培育开源人才、普及开源文化,助力开源人才生态的发展。5月30日,2022年度“犀牛鸟开源人才培养计划”正式启动,由教育部计算机类专业教学指导委员会、教育部软件工程专业教学指导委员会、教育部电子信息类专业教学指导委员会、中国信息通信研究院作为联合指导单位,腾讯开源和腾讯高校合作联合主办,培养计划涉及开源基础课程、开源进阶研学和开源项目实战三大阶段培养。本届培养计划除了来自腾讯的热点开源项目之外,还有来自清华大学、北京大学、中国人民大学与腾讯基于联合实验室平台合作开展的开源项目,涉及技术领域包括人工智能、大数据、前端应用、基础平台(操作系统)、数据库等。

各位同学报名即可参加线上开源系列课程,学习开源知识,对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下,利用暑假开展编程实战。

更多项目信息请看官网:https://opensource.tencent.com/summer-of-code

项目简介

Apache InLong(应龙)是一个一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。详细项目情况参考:https://inlong.apache.org/zh-CN/

项目导师 张超, 腾讯大数据 InLong 团队负责人,Apache InLong PPMC 张国成,Apache InLong PPMC

导师寄语 Apache InLong 是腾讯捐献 Apache 基金会的一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力。数据集成通过将不同来源的数据整合在一起,为商业和决策提供统一的有价值的数据,参与 InLong 有助于你掌握数据集成全链路技术细节,同时进入 Apache 开源的世界。

编程任务 收获: (1)了解 Apache 开源项目如何运作 (2)了解海量数据集成框实现原理

项目1: 支持 TubeMQ 命令行工具设计和开发(初级) (1)模块:TubeMQ (2)说明:聚合到一个命令,进行Topic 的使用,降低使用门槛;比如tubectl topic list (3)标准:功能需要包括:a,Topic 增删改查;b,发送和消费消息

项目2: SDK 负载优化(中级) (1)模块:DataProxy (2)说明:SDK 在生产数据的时候,会选出一组节点发送数据,当其中部分出现问题时,剔除,选用新的候选节点 (3)标准:a,减少对生产的影响,做到客户端无感知;b,在服务器节点恢复后,能再次被选用;c,保证选用节点负载均衡

项目3: 全链路集成测试框架设计和实现(高级) (1)模块:平台能力 (2)说明:由于InLong 数据链路涉及多个环节和组件,单个组件的修改都可能造成数据流异常。该题目需要给出通用的全链路测试框架,以及一条数据流验证准确性 (3)标准:a,具备良好的扩展性,可以快速支持新的数据节点;b,至少覆盖一条数据链路用于验证框架,比如 MySQL->Hive;c,能够跟GitHub Actions打通,创建对应流水线

联系导师: 张超:dockerzhang@tencent.com 张国成:gosonzhang@tencent.com