01. 빅데이터란?

[tonykang22]

빅데이터처리 with Spark&Hadoop

Ch 01. 빅데이터란?

데이터의 시대

데이터 사용량은 더욱 빠르게 증가하고 있다.

Byte 가 쌀 한톨 부피를 가진다고 가정할 때, Zettabyte 는 쌀로 태평양을 덮을 정도의 양이다.

분당 발생하는 데이터 수

• Google : 570 만의 검색
• Facebook : 24 만 건의 사진 공유
• Amazon : 사용자가 28 만 달러 어치 구매
• Slack : 15 만 건의 메시지 전송
• Twitter : 57 만 건의 트윗
• Tiktok : 1 억 6 천만 건 이상의 비디오 시청

빅데이터란?

• 기존의 데이터 처리 응용 소프트웨어로는 수집, 저장, 분석, 처리하기 어려울 정도로 방대한 양의 데이터
  • 데이터로부터 가지를 추출하고 결과를 분석하는 기술

빅데이터의 3대 요소

3V 라고도 한다.

• Volume : 데이터의 양을 의미한다.
  • 빅데이터에서 데이터는 주로 terabyte 혹은 petabyte 이상을 의미하는 경우가 많다.
• Velocity : 데이터가 가공되는 속도를 의미한다.
  • 데이터를 생성하여 수집, 저장, 분석, 처리 등의 과정을 거쳐 사용자에게 도달하기 까지의 속도 등을 의미할 수 있다.
• Variety : 데이터의 다양성을 의미한다.
  • 빅데이터는 단순히 크기만 큰 것이 아닌, 다양한 유형의 데이터를 처리하여 가치를 찾아내는 것이라고 한다.

빅데이터가 왜 필요할까?

• 빠르고 더 나은 의사 결정 지원
• 새로운 전략과 제품 구축
• 고객에 관한 통찰력 향상
• 가까운 미래를 예측하고 새로운 기회 창출

빅데이터 사용 사례

대부분 기업이 데이터 분석과 예측을 활용 중이다.

[tonykang22]

플랫폼이란?

플랫폼의 정의

평평한 + 형태

• 플랫폼이란?
  • 많은 사람들이 쉽게 이용할 수 있고 다양한 목적의 비즈니스가 일어나는 공간이다.

다양한 플랫폼

하드웨어 플랫폼

생산 공정이나 환경을 의미 : Ex) 현대기아차는 플랫폼을 공유

소프트웨어 플랫폼

서비스 플랫폼

예로는 앱스토어가 있겠다.

빅데이터 플랫폼

• 기업 내에 많은 사용자들이 데이터를 처리하고 분석을 쉽게 할 수 있는 환경을 제공해주는 시스템

빅데이터 플랫폼 요구사항

• 데이터 수집, 처리 및 저장
• 데이터 발견, 검색, 보안 제공

• 데이터 분석 및 ML 지원

  
  

빅데이터 아키텍처

[tonykang22]

빅데이터 아키텍처

크게 5 가지로 나뉜다.

• Source : 비즈니스, 운영 데이터 생성 단계
• Ingestion and Processing : 데이터 추출, 변형, 적재 단계 (ETL)
• Storage : 데이터 저장 단계
• Analytics and Prediction : 분석가, 과학자의 분석 단계
• Output : 다양한 형태로 데이터 활용 단계

Source

Data 종류

• 정형(Structured) 데이터
  • RDBMS, 스프레드 시트
• 비정형(Unstructured) 데이터
  • 텍스트, 이미지, 음성, 영상
• 반정형(Semi-structured) 데이터
  • JSON, XML, 웹 로그, 센서 데이터

Data Source 종류

• 데이터베이스
  • OLTP 데이터 베이스를 의미하는 경우가 많다.
  • 
• 이벤트 컬렉터
  • 사용자 단에서 생성되는 데이터
• 로그
• API
• 파일
• Object Storage
• 기타

Data Ingestion and Processing

• 배치형 데이터 수집
  • 데이터베이스
  • 파일
• 스트리밍형 데이터 수집
  • 애플리케이션 이벤트
  • 로그
  • 센서 데이터

수집 도구

• Flume
  • Hadoop ecosystem : 로그 데이터를 수집 분산 이동하기 위한 애플래케이션
• Scoop
  • Hadoop ecosystem : RDB를 HDFS로 가져오기 위한 애플리케이션
• Kafka
  • 메시지 브로커 프로세스를 위한 애플리케이션
• Nifi
  • NSA에서 개발 : 소프트웨어 시스템 간 데이터 흐름을 자동화하기 위한 애플리케이션
• Fluentd
  • 로그, DB로부터 데이터를 모아두기 위한 애플리케이션

처리 도구

• 배치 처리 : 대량의 데이터 처리
  • Tool
  • MapReduce
  • Spark
  • Hive
  • 특징
  • 특정 시간/일 단위 처리
• 스트림 처리 : 스트리밍형 데이터 처리 (실시간 처리)
  • Tool
  • Flink
  • Spark
  • Kafka
  • 특징
  • 실시간 처리
  • 잘못된 결과 수정 어려움

Lambda vs Kappa

• Lambda Architecture
  • 구조
  • Batch Layer
  • Serving Layer
    • Batch views + Real-time views : Merged view
  • Speed Layer
• Kappa Architecture
  • 메시지 브로커가 데이터를 충분한 시간 동안 가지고 있으면서 문제 발생 시 과거의 데이터를 조회할 수 있도록 해야한다. 멱등성 또한 보장되어야 한다.
  • 구조
  • Serving Layer
  • Speed Layer

Reference : https://luminousmen.com/post/modern-big-data-architectures-lambda-kappa

[tonykang22]

Storage

Data Warehouse

• 데이터 분석을 위해 서로 다른 시스템의 데이터가 모델링되어 있는 DB
  • 정형화된 Data가 들어있고,
  • Reporting, 분석에 최적화 되어있다.
• Tools
  • Google BigQuery
  • 데이터를 복제하여 저장하기 때문에 안전
  • Amazon Redshift
  • Postgre 기반 : Column 기반 방식으로 데이터 압축하여 분산 저장
  • snowflake
  • SaaS : 정형, 비정형 데이터 모두에 대한 Data Warehouse로 사용 가능

Data Lake

Reference : https://aws.amazon.com/ko/blogs/korea/aws-lake-formation-now-generally-available/

• 특징
  • Data를 raw 한 형태로 저장한다.
  • 저장하는 형태는 주로 Parquet, ORC
  • Obejct Storage에 주로 저장된다.

Analytics and Prediction

• Interactive Qurey Engine
  • Tools
  • trino
  • presto
  • cloudera Impala
• Realtime Analytics
  • Tools
  • druid
  • pinot
  • ClickHouse
• Machine Learning
  • Tools
  • Apache Spark
  • Amazon SageMaker
  • Azure Machine Learning

Output

• Dashboard 와 같은 시각화를 통해 output을 확인한다.
• 목적
  • 데이터 기반 의사 결정
  • 비즈니스 의사 결정 도움
  • 데이터 기반 애플리케이션
  • 프로덕트 퀄리티 향상
• Tools
  • tableau
  • Apache Superset
  • redash