Spark

[su3inni]

Spark

• Spark는 범용 분산 클러스터 컴퓨팅 프레임워크이다.
• Spark는 Spark session 실행 자동화 prompt를 통해 실행할 수 있으며, Spark application 제출을 통해 실행할 수 있다.
  • pyspark, sparkshell, sparkR, sparksql
  • jar, Rscript , python script
• Spark는 단독으로도 사용가능하며 클러스터와 함께 사용도 가능하다.
  • local mode : 단일 머신에 Driver & Executor
  • cluster mode : 클러스터에 Driver & Executor
    • Driver program 위치에 따라 Client mode / Cluster mode 로 나뉜다.

Spark application 을 spark-sumbit 하면..

• Driver Program 에서 application(Job) > Stage > Task 로 나뉜다.
  • Spark Context 에 각 Task 가 어떤 Worker Node와 연결되는지 end-point 정보가 기록된다.
• Cluster manager에서 worker node에 자원을 할당하고 실행한다.
  • YARN resource manager가 hdfs의 namenode의 정보를 보고 data locality 를 기반으로 실행할 worker node 를 선정한다.
• Worker node 에서 yarn node manager를 통해 executor가 컨테이너 기반으로 실행되고 driver와 executor가 통신한다.
  • 이 때 deploy mode가 cluster mode 인 경우 ( driver가 cluster 내부에 있는 경우 ) client 와 접속이 끊어져도 background로 실행하지만, client 에 driver가 있는 경우 연결이 끊기면 실행이 멈춘다.

1. Spark vs. MapReduce

• Mapreduce는 작업의 중간 결과를 디스크에 쓰기 때문에 I/O로 인하여 작업 속도에 제약이 생긴다.
• Spark는 중간 결과를 메모리에 저장하여 반복 작업의 효율이 높다. 인메모리 기반의 처리로 맵리듀스 작업에 비해 디스크는 10배, 메모리 작업은 100배 빠른 속도를 가지고 있다.

2. Spark Version

Spark v1.

• RDD를 이용한 인메모리 처리로 기존 방식 대비 빠른 속도로 처리가 가능해졌다.
• RDD는 인메모리 데이터 처리를 통하여 속도를 높일 수 있지만 table join 효율화 같은 처리를 사용자가 직접 처리해야해서 어렵다.
• RDD ( Resilient Distributed Dataset )
  • 변경할 수 없는 Immutable 데이터의 집합으로, 클러스터 내의 여러 노드에 분산되어있다.
  • 데이터가 미디어와 같이 비구조화 형태로 되어있을 때 사용하기 편하며
  • 데이터를 함수형 프로그래밍으로 조작하고 싶을 때
  • 데이터 처리시 칼럼 형식과 같은 스키마를 따지고 싶지 않을 때
  • 최적화가 필요없을 때 주로 사용한다.

Spark v2.

• RDD의 기능을 개선하여 데이터 프레임과 데이터셋을 통합한다.
  • 데이터를 스키마 형태로 추상화하여 제공한다.
  • 쿼리 최적화 기능을 추가한다.
• DataFrame
  • RDD와 같이 변경할 수 없는 데이터 집합이지만 칼럼이 존재한다.
  • 대용량 데이터를 쉽게 처리할 수 있다.
  • 구조화되어있어 여러 엔지니어들이 접근하기 용이하다.
  • SparkSQL을 사용한다.
  • 최적화가 가능하다.
  • Dataset
  • Query Plan이 작성되며 최적화가 가능하다.

Spark v3.

• python, scala를 지원한다.
• 딥러닝 지원 강화, GPU 지원
• 바이너리 파일 지원
• Dynamic Partition Pruning 을 지원하여 SQL 을 강화한다.