search

codefollower / My-Blog

我的博客
812 stars 134 forks source link

统一批处理、流计算与 OLTP 数据库 #25

Open codefollower opened 5 years ago

codefollower commented 5 years ago

最近在研究 Flink 开源项目，这是个好东西，准备进一步阅读源代码，看看能带来多少灵感。

也许在不远的将来，数据处理这个大领域真能迎来大一统。

先发个帖占个坑，想说什么时再来补充。😜

codefollower commented 5 years ago

流计算想解决的最核心最本质的问题，对应到数据库，就是如何实时更新物化视图的问题。

批处理只不过是另一个对响应时间要求更低的 OLAP。

三者融合的难点依然是从单机变成分布式后自带的复杂性，同时解决不同负载下的隔离问题。

codefollower commented 5 years ago

三者融合这样的想法，国外已经有一个开源实现了: SnappyData 官网: http://www.snappydata.io/ 源码: https://github.com/SnappyDataInc/snappydata 概述: https://blog.bcmeng.com/post/snappydata.html

codefollower commented 5 years ago

整个 hadoop 生态圈中的开源项目真的能用琳琅满目来形容了，能想到的基本上都有了，不管是专用的还是集成出来的，应有尽有。

想做出能够脱颖而出的技术产品，唯有从算法、模型上做出理论突破了。

turingdream commented 2 years ago

这个想法也一直盘旋在我的脑海中，方便加个微信，保持交流么？

codefollower commented 2 years ago

这个想法也一直盘旋在我的脑海中，方便加个微信，保持交流么？

流计算不做了，现在只关注湖仓一体。

turingdream commented 2 years ago

计算依赖存储