빅데이터 분석을 위한 스파크2 프로그래밍 책 정리.

[kgneng2]

Run spark in Yarn

client : client가 driver가 됨.

• client 로그를 볼수있음.
• yarn 의 app master는 노드매니저 자원만 요청하고 클라이언트 서버가 드라이버가 되서 애플리케이션 동작제어

cluster

• yarn 안에 노드매니저 중에서 하나가 driver가 동작하게 된다.
• 네트워크상 동일한 서버 중에 하나가 driver가 되는것이므로 client 보다 더 나은 성능을 기대할 수 있음.

동작 overview

• 전체작업을 stage로 나누고 다시 stage에서 여러개 task로 나눔
• Driver 안에 sparkContext(sparkSession)을 생성.
• RDD의 연산정보를 DAG 스케줄러에게 전달. 스케줄러는 이 정보를 가지고 실행계획을 수립후 클러스터 매니저에게 전달 (drvier)
• 네트워크 이동을 최소화하는게 성능 향상에 도움
• sparkContext(sparkSession) : 클러스터 구성정보, task에 필요한 메타정보를 가지고 있음..

executor

• 하나의 작업을 의미하며, 여러개의 프로세스 생성해서 병렬로 처리. (executor 별로 서로 다른 CPU core 사용함)

Partition

• RDD 데이터는 클러스터를 구성하는 여러서버에 나누어 저장됨. 분할된 데이터를 파티션 단위로 관리함.
• 하나의 HDFS 블록에 하나의 파티션이 구성된다. executor가 각자 할당된 파티션을 담당해서 처리한다.
• 워커 노드에 executor가 process 단위로 동작한다. (cpu와 메모리 할당받음)
• Job은 lazy 실행 되는 단위 이며, 액션 연산수만큼 생성됨. (executor thread로 수행되는데, 이를 task라 한다)

스케줄링

• 무조건 많은 CPU와 메모리 할당한다해도, 원하는 속도가 안나옴.. 오히려 GC발생과 과도한 I/O, 네트워크 프로세스 경합으로 처리속도가 나빠짐.

[kgneng2]

QueryExecution

• logical
• analyzed
• optimizedPlan

LocalPlan ,SparkPlan

• 최적화 처리할때 두개를 사용함. (논리적, 구체적)

[kgneng2]

spark 동작과정

1. 전체작업을 stage로 나눔
2. 각 스테이지는 다시 task로 나눔
3. 드라이버는 sparkSession, SparkContext를 만들고 이를 이용해 잡을 실행하고 종료한다. 클러스터 매니저와 연동되어 각 클러스터 서버에 작업을 처리하기 위한 프로세스를 생성한다.
4. transformation 과 action으로 구분되는데 action을 진행했을때 하나의 Job으로 인식한다.
5. Stage 여부는 데이터 셔플 여부로 나눠진다. 즉 각 서버에 있는 데이터를 네트워크를 통해 다른 서버로 재배치해야하는지 여부이다. 셔플이 발생하면 네트워크 부하가 발생할수 있어 성능에 안좋은 영향을 주는데, 같은 스테이지에서 처리하는게 최소화 할수 있음.
6. Executor는 task를 할당 받아서 처리하고, 또 재사용할수 있도록 메모리에 저장하는 두가지 역할을 진행함.

Job -> Stage -> task Job안에 여러개 stage가 있을수 있음. executor는 여러개 task를 실행시킬수 있음.

[kgneng2]

Yarn

• resource manager : 클러스터 자원을 관리
• node manager : 노드 자원 관리, 리소스 매니저에게 전달해서 리소스 매니저가 클러스터 상태를 알수 있게 함.
• application master : 리소스 매니저가 노드매니저중에 놀고있는 녀석에게 application master를 실행하게 한다. 어플리케이션의 라이프사이클을 관리하게 되고, 리소스는 매니저는 애플리케이션 매니저 통해서 application 전체리소스를 관리할수 있게 된다.
• container

Spark on Yarn

• application master와 driver는 같은곳에서 뜨게 된다.
• 애플리키에션 마스터는 리소스 매니저에게 노드목록을 전달 받고, 노드매니저에게 필요한 자원 할당 및 프로세스 실행을 요청함.

[kgneng2]