Tencent / OpenSourceTalent

143 stars 15 forks source link

2022腾讯犀牛鸟开源人才培养计划-Firestorm #28

Closed tencent-adm closed 1 month ago

tencent-adm commented 2 years ago

腾讯犀牛鸟开源人才培养计划 Tencent Rhino-bird Open-source Training Program 2021年腾讯首次发布“犀牛鸟开源人才培养计划”,通过打造面向高校学生的开源课程和开源实践培养方案,培育开源人才、普及开源文化,助力开源人才生态的发展。5月30日,2022年度“犀牛鸟开源人才培养计划”正式启动,由教育部计算机类专业教学指导委员会、教育部软件工程专业教学指导委员会、教育部电子信息类专业教学指导委员会、中国信息通信研究院作为联合指导单位,腾讯开源和腾讯高校合作联合主办,培养计划涉及开源基础课程、开源进阶研学和开源项目实战三大阶段培养。本届培养计划除了来自腾讯的热点开源项目之外,还有来自清华大学、北京大学、中国人民大学与腾讯基于联合实验室平台合作开展的开源项目,涉及技术领域包括人工智能、大数据、前端应用、基础平台(操作系统)、数据库等。

各位同学报名即可参加线上开源系列课程,学习开源知识,对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下,利用暑假开展编程实战。

更多项目信息请看官网:https://opensource.tencent.com/summer-of-code

项目简介

Firestorm是腾讯研发并开源的面向分布式计算框架的Remote Shuffle Service。作为云原生的分布式计算框架重要的组成部分,该服务也用来提升分布式计算的整体性能,已在生产系统中大规模部署使用。

项目导师 马骏杰,Firestorm开源项目负责人 齐赫,Firestorm开源项目架构师

导师寄语 Firestorm是腾讯自研的分布式Remote Shuffle Service,对于分布式计算框架上云有着极大的助推作用。 通过学习,你不仅能了解到如何设计高性能,可扩展的分布式服务,同时还能掌握分布式计算框架的实现原理,如,Apache Spark。欢迎同学们积极参与项目研发。

编程任务 初阶任务:开发Firestorm管理工具 基于Firestorm的架构,增加管理工具用来获取集群信息,更新集群状态,调整集群参数等。 在完成这个任务的过程中,同学们将会学到Firestorm的基本架构及功能,并通过RestApi等方式对集群进行管理。

中阶任务: 完善Firestorm测试流程 基于Spark引擎,在集成测试中增加TPC-DS测试,对Firestorm的正确进行验证 在这个任务中,同学们可以增加对Firestorm和Spark两个系统的了解,同时也会对业界比较流行的SQL测试集TPCDS有一定的了解

高阶任务:优化RPC通信机制 对Firestorm的RPC通信机制进行优化,提升RPC通信性能。 需要考虑:如何定义RPC通信协议,如何管理RPC的通信过程等。 在完成这个任务的过程中,同学们将会对netty项目有深刻的了解,并基于netty完成整体的优化工作。

联系导师 马骏杰:colinma@tencent.com 齐赫:roryqi@tencent.com