Python3实战Spark大数据分析及调度0

[xinrong2019]

Spark架构

学习内容

• Spark调优、调度框架Azkaban整合

• Azkaban的弊端及改进

• 构建大数据平台的技术选型及集群评估

学习安排

• 环境搭建

• Spark Core核心RDD

• Spark Core RDD编程

• Spark 运行模式

• Spark Core进阶

• Spark Core调优

• Spark SQL

• Spark Streaming

环境参数

• Linux or Mac OS

• Python：3.6.5

• Hadoop：CDH（5.7）

• Spark：2.3.0

• ElasticSearch：6.3.0

• Kibana：6.3.0

• 开发工具：IDEA

• JDK：1.8

• Azkaban：3.x

学习方法

• 笔记

• 英文和官网

• 多尝试、多思考、不做伸手党

[xinrong2019]

环境安装细节

JDK配置

编辑.bash_profile文件，添加JAVA_HOME

export JAVA_HOME=JDK安装目录
export PATH=$JAVA_HOME/bin:$PATH

退出文件，执行source .bash_profile

安装和配置scala