Open cjuexuan opened 4 years ago
从宏观来说我觉得今年团队做的东西还是蛮有意义的,当然这也和我们今年更聚焦在数据计算平台这一块有很大的关系。今年上半年逐渐将spoor交接给了基础设施团队,说心里话,我当时还挺难受的,因为spoor是我在喜马拉雅的第二个大系统,甚至一度付出的精力比XQL还要多,在写Spoor的过程中我个人得到了很大的成长,但由于精力有限不得不放弃这个系统,不过有舍弃才能更聚焦,我们的交接也是为了不放弃这个系统,让它变得更好。
那我今年到底做了些什么呢,过完年的一段时间我投入在Unicorn可视化看板这个系统上,这个系统目前也已经成为我们组第二个DAU过百的产品了,我今年的Q1主要写了一套统一的处理引擎,基于calcite实现的,最终的效果大概是让我们现在的二次计算的耗时控制在40-50ms左右,也解决了子sql,计算字段等核心的看板功能,做完这个功能Unicorn就基本是一航在维护了,小伙伴也尽职尽责的维护好了整个系统,到年底的时候我们已经将DAU稳定在120左右,每个月还有小一千的图表内容在新增。 到了Q2的时候我就回到了梦开始的地方,XQL,4月开始我就着手写XQL3,XQL3是一个非常大的重构,除了engine层我们把其他通信,调度,web等几乎重写了一遍,也实现了很多很有意思的功能,整个XQL3主要有两个大的功能,一个是我做的这部分,一个是晨阳做的Analyzer模块。最终上线的效果非常好,基于我重新设计的流量调度模块,我们实现了更精细的场景化调度,使得自然人的提交几乎无等待,高峰期的拥堵时间也降低了2倍以上。小伙伴也非常给力,基于Analyzer模块实现的bigsql解析效果非常赞,有效的解决了长尾任务拖垮系统的问题。另外我们也更精细的考虑了一些metric的指标,并且开始推行XQL积分制度,一些不合理的行为会扣除用户的积分,当积分不满足一定情况就不能继续跑不合理的任务了,这里面的灵活度让我们最少的影响了业务,也同时保证了系统的稳定性 到了Q3开始我也着手写了一些Panda调度系统的功能,其中最大的一个特性应该是javaClient接入这一块,我和小伙伴一起合作实现了调度的client接入优化,屏蔽了我们之前接入第三方应用的协议细节,让用户可以聚焦在任务处理逻辑本身,这一整套的效果还可以,迅速的又推广了三四个部门。整个调度系统2019年其实还是取得了不错的成绩,不得不说鹏导还是很给力的,其中修复和重跑功能让用户非常满意,核心任务的修复速度提高了6X,这就是中台部门的价值所在了。 另外我还把我刚进公司写的PathSyncer给优化了下,写了个新的项目,叫fastSyncer,听着名字就比较快,2333。
另外2019年我们组迎来了第一个校招入职的小伙伴,所以我们还多了一个挑战,那就是帮助新人融入团队。在校招新人融入这件事情上我觉得需要TL做的事情及时给出短期的反馈,在一些小问题上提早发现,提早预防,避免出现大问题,另外多进行一些一对一谈话,帮助你们两共同聚焦下,对齐下目标,避免出现目标的偏差。另外多给小伙伴一些鼓励,以及一些能帮助他成长的建设性意见,这可以让他比较好的完成从学生到企业员工的转变。从别人的一些悲惨教训告诉我,问题会越拖越严重,还好我们小伙伴自己调整的也很好。另外要再次感谢晨阳,我是一个比较急性子的人,刚好和晨阳完成了不错的互补,最终很好的帮助我们实习生融入了集体
技术分享这一块,我们2019年数据组大团队做了27场分享,我们team做了其中9场,我做了中间的6 场,感觉组内分享完成的还不错。公司级别的分享我做了一次,分享了下我们的数据可视化系统。
2019年我觉得团队做的最有突破的应该是文档建设了,整个2019年我们养成了比较好的写文档的习惯,并且文档都是没被final修饰的(开个玩笑,持续演进中),这让我们的中台技术支撑工作轻松了不少。
想来和罗老师认识都已经8年了,在上海一起生活也已经3年了,另外2020年的春节我应该会在陕西过,老脸一红。2020年应该可以受法律保护了吧
今年基本2周一次球,平时锻炼也多了很多,所以整体身体还是比去年好一些。不过9月有段时间胃不太舒服,吃东西也更加注意了,2020年继续加强锻炼
haha
老脸一红
涛哥优秀。。。。。
编程
工作
从宏观来说我觉得今年团队做的东西还是蛮有意义的,当然这也和我们今年更聚焦在数据计算平台这一块有很大的关系。今年上半年逐渐将spoor交接给了基础设施团队,说心里话,我当时还挺难受的,因为spoor是我在喜马拉雅的第二个大系统,甚至一度付出的精力比XQL还要多,在写Spoor的过程中我个人得到了很大的成长,但由于精力有限不得不放弃这个系统,不过有舍弃才能更聚焦,我们的交接也是为了不放弃这个系统,让它变得更好。
那我今年到底做了些什么呢,过完年的一段时间我投入在Unicorn可视化看板这个系统上,这个系统目前也已经成为我们组第二个DAU过百的产品了,我今年的Q1主要写了一套统一的处理引擎,基于calcite实现的,最终的效果大概是让我们现在的二次计算的耗时控制在40-50ms左右,也解决了子sql,计算字段等核心的看板功能,做完这个功能Unicorn就基本是一航在维护了,小伙伴也尽职尽责的维护好了整个系统,到年底的时候我们已经将DAU稳定在120左右,每个月还有小一千的图表内容在新增。 到了Q2的时候我就回到了梦开始的地方,XQL,4月开始我就着手写XQL3,XQL3是一个非常大的重构,除了engine层我们把其他通信,调度,web等几乎重写了一遍,也实现了很多很有意思的功能,整个XQL3主要有两个大的功能,一个是我做的这部分,一个是晨阳做的Analyzer模块。最终上线的效果非常好,基于我重新设计的流量调度模块,我们实现了更精细的场景化调度,使得自然人的提交几乎无等待,高峰期的拥堵时间也降低了2倍以上。小伙伴也非常给力,基于Analyzer模块实现的bigsql解析效果非常赞,有效的解决了长尾任务拖垮系统的问题。另外我们也更精细的考虑了一些metric的指标,并且开始推行XQL积分制度,一些不合理的行为会扣除用户的积分,当积分不满足一定情况就不能继续跑不合理的任务了,这里面的灵活度让我们最少的影响了业务,也同时保证了系统的稳定性 到了Q3开始我也着手写了一些Panda调度系统的功能,其中最大的一个特性应该是javaClient接入这一块,我和小伙伴一起合作实现了调度的client接入优化,屏蔽了我们之前接入第三方应用的协议细节,让用户可以聚焦在任务处理逻辑本身,这一整套的效果还可以,迅速的又推广了三四个部门。整个调度系统2019年其实还是取得了不错的成绩,不得不说鹏导还是很给力的,其中修复和重跑功能让用户非常满意,核心任务的修复速度提高了6X,这就是中台部门的价值所在了。 另外我还把我刚进公司写的PathSyncer给优化了下,写了个新的项目,叫fastSyncer,听着名字就比较快,2333。
另外2019年我们组迎来了第一个校招入职的小伙伴,所以我们还多了一个挑战,那就是帮助新人融入团队。在校招新人融入这件事情上我觉得需要TL做的事情及时给出短期的反馈,在一些小问题上提早发现,提早预防,避免出现大问题,另外多进行一些一对一谈话,帮助你们两共同聚焦下,对齐下目标,避免出现目标的偏差。另外多给小伙伴一些鼓励,以及一些能帮助他成长的建设性意见,这可以让他比较好的完成从学生到企业员工的转变。从别人的一些悲惨教训告诉我,问题会越拖越严重,还好我们小伙伴自己调整的也很好。另外要再次感谢晨阳,我是一个比较急性子的人,刚好和晨阳完成了不错的互补,最终很好的帮助我们实习生融入了集体
技术分享这一块,我们2019年数据组大团队做了27场分享,我们team做了其中9场,我做了中间的6 场,感觉组内分享完成的还不错。公司级别的分享我做了一次,分享了下我们的数据可视化系统。
2019年我觉得团队做的最有突破的应该是文档建设了,整个2019年我们养成了比较好的写文档的习惯,并且文档都是没被final修饰的(开个玩笑,持续演进中),这让我们的中台技术支撑工作轻松了不少。
生活
人生大事
想来和罗老师认识都已经8年了,在上海一起生活也已经3年了,另外2020年的春节我应该会在陕西过,老脸一红。2020年应该可以受法律保护了吧
身体
今年基本2周一次球,平时锻炼也多了很多,所以整体身体还是比去年好一些。不过9月有段时间胃不太舒服,吃东西也更加注意了,2020年继续加强锻炼