tonykang22
commented
1 year ago 데이터 파이프라인 패턴
데이터 분석
과거 : 데이터 별로 분석 시스템을 따로 구축 및 관리
이후 : 데이터 웨어하우스로 모든 데이터를 모은 후 분석
- 데이터 웨어하우스
- 대량의 데이터를 한번에 처리하는데 용이
- 소량 데이터 자주 처리에는 비효율
정규화된 스키마 vs 스타 스키마
- RDB : 최소한의 정보만 저장하기 위해 데이터를 분리한다.
- 분석을 위한 쿼리에는 비효율적이다.
- 여러 테이블을 조인해야하기 때문이다.
- 스타 스키마 : 데이터 웨어하우스에서 사용하기 적합한 스키마
- ETL이 필요하다.
ETL
- Extract
- Transform
- Load
Reference : https://www.qlik.com/us/etl/etl-pipeline
ELT
- 데이터가 커지고 다양해지면서 ETL 과정을 따르기에는 복잡해져서 생긴 방법
- 사용할 때 데이터를 변환한다.
- 더 유연한 처리 방법
Reference : https://www.qlik.com/us/elt
직무 별 책임을 명확하게 구분하여 효율적인 업무가 가능하다.
Data Lake
- 대규모 데이터를 저장, 관리 및 분석하는 데이터 저장소이다.
- 기존의 데이터 웨어하우스와 달리 비정형 데이터부터 정형 데이터까지 모든 유형의 데이터를 수집하고 저장할 수 있다.
- 계층
- 1 단계 : 원본 데이터
- 2 단계 : 분석용 데이터
- 3 단계 : 피처 데이터 (ML, AI) / 집계 데이터
Reference : https://aws.amazon.com/ko/big-data/datalakes-and-analytics/what-is-a-data-lake/
Data Lake vs Data Warehouse
- Data Lake : 원시 데이터를 저장한다.
- Data Warehouse : 구조화된 데이터 모델로 변경하여 저장한다.
- 스키마 확립 필요
데이터 파이프라인이란?
파이프라인이란?
데이터 파이프라인이란?
Why, Who, How
Why
Who
데이터 엔지니어가 구축한다.How