winway / commentRepo

commenyRepo
0 stars 0 forks source link

大数据开发之路-离线任务优化 | winway's blog #6

Open winway opened 2 years ago

winway commented 2 years ago

https://winway.github.io/2022/05/13/bigdata-stack-batchtune/

离线任务优化-数据开发的看家本领 优化方向 优化层面 hive常用优化手段&参数 spark常用优化手段&参数 spark-sql常用优化手段&参数 参考资料 导引 大数据开发之路-概述 flume-高度定制化的日志采集传输系统 sqoop-rdbms和hadoop之间的数据同步工具 datax-多种异构数据源间的高效数据同步工具 canal-基于MySQL b