search

whitelilis / whitelilis.github.io

5 stars 0 forks source link

2017 小结 #10

Open whitelilis opened 6 years ago

whitelilis commented 6 years ago 
1. 编码
    1. 实时监控 heartbeat, 每秒 5 万实时数据的秒级统计和展示 
    2. spa sender，每秒 近 10 万的实时数据交换
    3. etl ，广告业务ETL全流程优化
    4. collect， 每秒 1.2万 qps 的collector 服务
2. 设计
    1. spa sender， 从 简单多线程到 flume 到spark streaming再到 flink 再到 flink async operator 的演进
    2. mapping DSL， lisp like 的DSL
    3. ETL 进化， 单个 MR 搞定的高效 ETL 和 流式 ETL
3. 架构
    1. ssp ES -〉hive
    2. storm -> storm on yarn -> flink
4. debug
    1. nodemanager mem leak
    2. resource manager mem leak
    3. datanode block leak
5. profile
    1. namenode log slow
    2. resource manager lookUpName slow
    3. ua parser <init> slow
    4. 
6. final point
    1. 各种疑难杂症
7. 团队
    1. 龙泉工作规范
    2. java /python 编码文档
    3. 天龙学前班
    4. 精硕学院
8. 文档
    1. MRC
    2. pitch 材料
9. 演讲
    1. 2016 18 次
    2. 2017 6 次
10. 责任心
11. 秘书
    1. 外访文档
    2. 汇报文稿
12. 英语
    1. MRC 汇报