search

timzaak / blog

8 stars 1 forks source link

Flink #39

Closed timzaak closed 2 years ago

timzaak commented 5 years ago

在 测试 Flink Demo 的时候，发现 DataSet 和 DataStream 内在计算逻辑不一致。 DataStream 在计算分叉的时候，前面的计算结果会共享。DataSet 则是计算分叉时，会产生2个独立的计算流，没有数据共享。 目前尚未找到简单的复用 DataSet 中间计算结果的方案。

timzaak commented 5 years ago

Flink 在单机处理 Stream 的时候，会创建 MiniCluster。 StreamGraph 提交等操作都还有，然而并行粒度为1，所以单机情况下，Flink Stream更适合用来测试。不过好在监控啥的也都还在。另外 Stream 的Window API 很好用。

Flink 在单机处理 Batch 的时候，会用到所有cpu，刨除提交作业等操作的成本，感觉还是OK的。

timzaak commented 5 years ago

参考文章： Flink原理与实现 追源索骥：透过源码看懂Flink核心框架的执行流程

timzaak commented 2 years ago

Flink 、Akka 都朝着 serverless 去了，不看好。