search

qiwihui / blog

技术和思考，基于issues
https://qiwihui.com
44 stars 3 forks source link

生产级别 spark jobs 实践 #34

Open qiwihui opened 6 years ago

qiwihui commented 6 years ago

大纲：

  1. spark app 结构

    • 方便引入第三方包
    • 打包任务为模块
    • spark streaming任务结构
    • 本地调试
    • 单元测试

  2. 运行参数及优化

  3. spark读取数据和输出

    • mysql
    • elasticsearch