search

weblab-tw / ddia-study-group

Designing Data-Intensive Applications Study Group
36 stars 4 forks source link

第三章節：事務處理（OLTP）線上分析（OLAP）資料會如何同步呀 - Jimmy #35

Open JimmyFUFU opened 2 years ago

JimmyFUFU commented 2 years ago

我們公司事務處理和線上分析都有，但好像沒有開另外一個資料庫，但像書上說會針對 OLTP, OLAP 會有不同的 table 設計，甚至是不同的儲存方法，那資料通常是如何同步？

484 因為 OLAP 不用很即時，所以分析之前再同步整個 DB 就好嗎？

samwu4166 commented 2 years ago

image

基本上提供 OLAP 使用的都是從最終端儲存設備上面架設一層運算框架，這些資料通常都是從 OLTP 來的 (各種 pipeline & ETL)，通常搭配 OLAP 都會是 Data warehouse (HDFS/BigQuery)，同步的速度就跟著業務邏輯走就好，通常會給一個最慢更新時間 (看批次排程怎麼設定)

jxiu0129 commented 2 years ago