baiwfg2 / awesome-readings

记录看各种文章、论文的心得
2 stars 0 forks source link

OLAP & Warehouse Systems #14

Open baiwfg2 opened 3 years ago

baiwfg2 commented 3 years ago

这个issue 总结一些市场上的分析型数据系统,我们常听的词汇是olap, wareshouse 等

[1] Big metadata: when metadata is big data, google vldb14 google 的BigQuery 系统相关

baiwfg2 commented 3 years ago

Amazon Redshift

企业级、PB级、全托管、数据仓库服务

image

leader 解析sql,编译sql,分发到计算节点,然后聚合结合返回给clients compute node 就干具体的活,有自己的CPU,MEMORY, storage

https://docs.aws.amazon.com/redshift/latest/dg/proof-of-concept-playbook.html 这里说 RS 是 关系型数据库管理系统(RDBMS),really ? (向用户暴露的是sql 语法式的查询)

罗列了很多满足业务需求的考虑点,包括数据加载时间、吞吐、安全性、第三方集成,与其它服务的互操作性,备份、扩缩容

baiwfg2 commented 3 years ago

[1]

分布式的元数据管理系统,对元数据的查询使用和数据查询相同的分布式查询处理技巧

BigQuery 是google 全功能、serveless data warehouse,计算存储分离架构