데이터 플랫폼 검토 (Data Warehouse, Data Lakehouse)

[hyoseok0]

비교 대상 platform 과 비교 기준

• 많이 사용되는 것으로 평가받는 4가지 platform 을 대상으로 2가지 요소를 가지고 비교했습니다.
  • 비교 대상 platform
  • 네이버 사내 platform
    • AiDA
  • 사외 platform
    • Google BigQuery
    • Databricks
    • Snowflake
  • 사외 platform 선정 기준
    • 조사해본 트렌드 (부정확할 수 있습니다..)
      • 사실상 cloud 를 제일 잘할 수 있는 Google 이 cloud 의 왕좌를 amazon 에게 빼앗겨서, 절치부심해서 Google Cloud Platform 에 대한 미끼 상품(?) 으로 만든 것이 Google BigQuery 라고 합니다. 그만큼 amazon 의 RedShift 에 비해 더 좋다는 평가가 많은 거 같습니다.
      • Data Warehouse, Data Lake 모두 장단점이 있는데요. 최근에는 두가지 장점을 합친 Data Lakehouse platform 을 많이 사용하는 거 같습니다. Data Lakehouse 의 대표주자가 Snowflake 와 Databricks 로 평가받는 거 같습니다. Google 에서도 Data Lakehouse platform 의 성장을 지켜보며, BigLake 라는 상품을 내놨는데요. 아직까지는 Snowflake 나 Databricks 보다는 시장에서 약한 느낌입니다.
      • Data Lakehouse 의 자세한 내용은 아래 comment 참고 부탁드립니다.
    • 참고 article / 채용공고
      • 클라우드 데이터 플랫폼을 구성하는 최신 기술 알아보기
      • 네이버클라우드플랫폼으로 구축하는 Data warehouse
      • 네이버클라우드플랫폼 내용이긴 하지만, 일반적인 Datawarehouse 개념 및 발전 과정에 대해서 알 수 있는 듯 합니다.
      • 쿠팡 data engineer 채용 공고
        • "Snowflake 및 Databricks 유경험자 우대"
      • 당근마켓 data scientist 채용 공고
      • "Bigquery와 Airflow를 다양하고 깊게 다뤄보신 분"
  • 비교 기준
    1. 가격
    2. 정형 데이터와 비정형 데이터 동시 처리 가능 여부
  • 참고) 데이터 증가에 따른 scalability, 운영 비용 이슈로 on-premise 또는 cloud 에 직접 data platform 을 설치하는 건 비교 대상에 넣지 않았습니다.

비교 결과

평가

• Data Platform 의 절대 강자는 없어 보이고요. 저희 needs 에 따라 선택하면 될 거 같습니다.
  • data mining 위주로 사용 시
  • Google BigQuery
    • data mining 시 비정형 데이터 활용이 많지 않을 걸로 보입니다.
    • data mining 처럼 가끔 큰 데이터 기반의 쿼리를 할 경우 Google BigQuery 가 가격 측면에서 유리하다고 하네요.
    • 단 배치를 통한 BigData 처리, ML 학습 처리에서 비정형 데이터 활용 시, 별도로 Data Lake 를 구축해야 합니다.
  • 지속적으로 대량 데이터를 사용하는 쿼리 수행 시
  • BI/report 등 Data Warehouse 기능을 많이 사용하고, 적은 설정으로 구축하고 싶을 때
    • Snowflake
    • Data Warehouse 에서 출발한 Data Lakehouse platform 이므로 위 특징을 가집니다.
  • data science, AI/ML 등 Data Lake 기능을 많이 사용하고 더 자유롭게 구축하고 싶을 때(더 많은 설정필요)
    • Databricks
    • Data Lake 에서 출발한 Data Lakehouse platform 이므로 위 특징을 가집니다.
• GA 에서 수집한 BigQuery 데이터를 Snowflake, Databricks 에서 사용 가능 여부
  • 가능해보입니다.
    • https://ga.to-databricks.com/
    • https://ga.to-snowflake.com/
• 참고 article
  • Google BigQuery 와 Snowflake 비교
    • https://sarasanalytics.com/blog/bigquery-vs-snowflake/
  • Databricks 와 Snowflake 비교
    • https://www.eweek.com/big-data-and-analytics/snowflake-vs-databricks/
    • https://hightouch.com/blog/big-query-vs-snowflake-the-definitive-guide
    • https://royalcyberinc.medium.com/databricks-vs-snowflake-what-works-best-for-you-5c0f8f7e5acc

[hyoseok0]

가격 정책 비교 상세

• Google BigQuery
  • 저장 비용(스토리지)
    • 활성 스토리지 - 1TB 당 월 20$
    • 장기 스토리지(연속으로 90일 동안 테이블을 수정하지 않으면) - 장기 저장(90일 이상) 1TB 당 월 10$
  • 처리 비용(쿼리) - 쿼리 실행에서 읽어 들인 데이터 크기로 과금
    • 1TB 당 5$
    • 데이터 압축 여부와 상관없음
  • 정책
• Databricks, Snowflake
  • 저장 비용(스토리지)
    • AWS, Azure, GCP 스토리지에 저장. 각 cloud provider 정책에 따름
  • 처리 비용(쿼리) - 쿼리 실행에서 사용한 computing 시간/리소스 기준으로 과금. cloud provider 에 따라 다름
    • ex) https://www.databricks.com/kr/product/aws-pricing

[hyoseok0]

Data Lakehouse 란?

• Data Warehouse + Data Lake

https://speakerdeck.com/woongseok/09-balpyo-keulraudeu-deiteo-peulraespomeul-guseonghaneun-coesin-gisul-alabogi?slide=37

Data Warehouse 와 Data Lake 비교

Data Platform 발전 과정

https://www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf

First-generations platform

• Data Warehouse 로만 구성된 경우, 비정형 데이터 처리가 어렵고 저장 공간이 비싼 단점이 있다고 합니다.

  Current two-tier architectures

• 정형/비정형 데이터를 모두 Data Lake 에 넣고 정형 데이터는 Data Warehouse 에 ETL 로 넣어 처리하는 2-tier 아키텍쳐로 현재 구축되어 있다고 합니다.
• 그러나 2-tier 아키텍쳐의 경우 아래와 같은 한계가 있다고 합니다. 1) 구성이 복잡 2) Data Warehouse 데이터는 Data Lake 에서 추출한 데이터이므로 Data Lake 에 비해 stale data 3) 데이터의 Single-Source-Of-Truth 원칙을 위반하는 한계가 있다고 합니다.
• 또한 기존 Hadoop, Hive 기반의 Data Lake 의 경우 아래와 같은 한계가 있다고 합니다. 1) Data Warehouse 에 비해 구성이 복잡 2) 데이터 저장/처리 부분과 달리 meta 정보는 확장이 어려워 scalability 이슈가 있음 3) storage 와 query engine 분리로 transaction 이슈가 있어 특정 속도 이상으로 데이터를 저장하지 못함

  Data Lakehouse platform

• 2-tier 아키텍쳐의 한계를 극복하기위해 Data Warehouse 와 Data Lake 을 합친 Data Lakehouse platform 을 많이 사용한다고 합니다.
• 구성이 단순하고, 데이터의 Single-Source-Of-Truth 원칙을 구현할 수 있습니다.
• 기존 Data Lake 의 scalability, transaction 이슈를 기술적으로 해결했다고 합니다.

Data Lakehouse 아키텍쳐

https://www.altexsoft.com/blog/data-lakehouse/

참고 자료

• Data Lakehouse 구현 오픈소스
  • 가장 인기 있는 것이 Apache Iceberg 와 Delta Lake 라고 하는데요. 각 오픈소스를 기반으로 한 SaaS 는 아래와 같습니다.
  • Apache Iceberg
    • Snowflake
    • Google BigLake
  • Delta Lake
    • Databricks
      • Databricks 에서 구현 후 오픈소스로 공개
• 참고) 기존 Data Lake 동작 방식
  • Hive 개념
• 참고) 기존 Data Warehouse 동작 방식
  • 네이버클라우드플랫폼으로 구축하는 Data warehouse
    • 네이버클라우드플랫폼 내용이긴 하지만, 일반적인 Datawarehouse 개념 및 발전 과정에 대해서 알 수 있는 듯 합니다.

[hyoseok0]

국내 reference

• AiDA
  • 네이버 검색 로그 분석
  • 네이버 쇼핑, 플레이스 등의 BigData 분석, ML
• Google BigQuery
  • 쏘카
    • 사례1, 사례2
  • 당근마켓
• Databricks
  • Weverse
    • 사례1, 사례2
  • Bagelcode
    • 사례1, 사례2
  • 무신사, 아모레퍼시픽
• Snowflake
  • Weverse

    Weverse 아키텍쳐 상세

    

https://www.youtube.com/watch?v=1NJJKM9Fuzg (2:56)