cjuexuan / mynote

237 stars 34 forks source link

2020宏观工作计划 #68

Open cjuexuan opened 4 years ago

cjuexuan commented 4 years ago

2020宏观工作计划

首先是数据计算平台的一些工作

  1. 尽可能快的提供计算服务,这一块需要做的事情就是计算加速,通过一些cache和存储格式的优化,以及一些针对性的代码优化和参数调优,外加一些升级的红利,我觉得整体提升20%以上这个目标努力一下应该可以完成。由于2019年的技术沉淀,目前系统级别的稳定性挺不错的,所以2020刚好可以投入更多精力到那些优化上去,可能出成绩的速度会慢一点,但是细活不慢是不行的,这些活也是早晚要做的
  2. 运营好那些有sql技能的用户,但由于大家的水平参差不齐,所以需要我们把生态弄好,做好裁判员,引导大家写出更好质量的sql,选择更合理的数据源,提高计算的ROI。这一块主要基于现在的积分体系,丰富我们的目前的规则就可以比较好的做到了
  3. 对一些没有sql能力的小伙伴要提供一些无sql取数的支持。这一块的工作主要还是和元数据团队深度合作,加上公司中台团队的技术支持,通过nlu等解决掉运营之类没有sql的小伙伴的取数需求。

第二块是调度系统的规划

  1. 对调度系统而言,首先要做的还是推进目前的一些功能上线,并且推广使用,2019年的瓶颈主要在前端,不过目前人已经到位了,2020就可以发力冲一波了。
  2. 在现有功能的基础上,我们还需解决一些本职工作之外的需求,当初我们的定位是做etl的任务调度系统,目前已经有成为统一调度系统的趋势了,原因在于数仓并不是一个孤岛,他的上下游有的时候是开发,比如一个etl清洗出特定的用户群体,业务团队对这帮用户进行一些操作(通知会员续费等)。所以我们需要进一步降低接入门槛,并且将一些工作流固化成最佳实践,我认为中台的一个作用是沉淀在某个业务上已经实践的不错的流程,迅速向其他业务推广。
  3. 目前虽然调度已经是水平扩展,也支持无损的上下线,但本质上调度还是一个有很多状态的服务,这些状态都沉淀到db里去了,但是极端情况下,db也是会出问题的,所以这一块有精力还要再优化下,这样才能保证全年4个9的目标

第三块是可视化系统

  1. 首先还是赋能业务,一些团队人员有限,前端资源也有限,目前我们也做的还可以了,推广开的话周活上300应该没啥问题,毕竟现在也有210的周活了,自从2019年底做了一次公司级别的分享,有很多业务团队也上车了,所以说必要的宣传还是要的,这也是2019年没太做好的一个地方,19年的分享很多都是组内的分享,组外分享搞的少了,2020年也要加强
  2. 第二个就是沉淀了,可视化这一块目前能沉淀出一些sdk和组件,给数据计算平台和机器学习平台等做二次计算的支持,能解决目前这些产品不够妖艳的现状
  3. 第三个就是一些技术创新了,有可能的情况下还要考虑下做服务端渲染,并且做好端上的适配,这样在手机上推广会好一些,不然内存开销会成为一个比较大的问题,会把我们的路限制在pc一个渠道

最后,我们大组目前还有hc,欢迎大家投递简历,一起来搞事情