spark development pipeline

[GunSik2]

목적

• Spark 개발 플로우 시뮬레이션
• Spark 개발 파이프라인 가이드
• Spark 개발 코드 사례 가이드

절차

• 도커 이미지 빌드
• 로컬 실행
• 대규모 실행

도구

• Apache Superset 데이터 BI 도구
• dagster 데이터 파이프라인 도구, Airflow 대안
• Delta Lake

예시

• 코로나 데시보드 / 데이터

환경 - 참조모델

• Jupyter 에서 Livy를 통해 Spark Cluster 실행

• Spark Cluster 생성 후 Jupyter 에서 타겟팅해서 실행

  • maastrichtu-ids 사례 : https://maastrichtu-ids.github.io/dsri-documentation/docs/deploy-spark/
  • bitnami spark 사례 : https://docs.bitnami.com/tutorials/process-data-spark-kubernetes/

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
# Stop existing Spark Context
spark = SparkSession.builder.master("spark://spark-cluster:7077").getOrCreate()
spark.sparkContext.stop()
# Connect to the Spark cluster
conf = SparkConf().setAppName('sansa').setMaster('spark://spark-cluster:7077') 
sc = SparkContext(conf=conf)

# Run basic Spark test
x = ['spark', 'rdd', 'example', 'sample', 'example'] 
y = sc.parallelize(x)
y.collect()

• Google Dataproc 서비스

참고

• https://www.datamechanics.co/blog-post/spark-and-docker-your-spark-development-cycle-just-got-ten-times-faster
• https://github.com/datamechanics/docker-demo/tree/master/python-spark-pi
• https://www.sspaeti.com/blog/data-engineering-project-in-twenty-minutes/
• https://moons08.github.io/programming/dataETL/
• jupyter - Livy - spark - k8s
• Google Spark Service - dataproc

관련 세부 테스크

11 #12 #13 #14 #15 #16