每场会之后都会有 social 环节,不是很有意思。晚上我为了倒时差又去睡了3小时,晚上8点时分,我去吧台点了一杯苹果汁。一位加拿大小哥坐在我边上,我们一起聊了四十分钟。
小哥是 waterloo 做图数据库研究的,图数据库是当下非常火爆的 area。譬如判断淘宝订单是否是刷单,淘宝后台可能会分析支付宝转账信息,如果最终交易的钱款从 A 转到 B,最终又转到 A ,那说明 A 一定在刷单。这个 fraud detection 的问题可以在 graph db 里抽象为 circle detection。(所以刷单转账一定要用微信转....
通常 graph db 提供建图,查图的 API。类似于 olap system,graph db 是一个读多于写的场景 。小哥相当于用 java 写了一套图数据库,竞争对手包括 neo4j 和 dgraph 等。图数据库现在来看是一个大的 business。小米未来相信很快也会有相关需求。
小哥非常喜欢阿里(原话是"it’s a crazy company"),因为他被 maxcompute 震撼到了,特别想去拿阿里的 offer。我也不太好意思告诉他阿里的加班文化,当然阿里背后的雄厚技术实力是大家不得不承认的。另外多说一句,小哥的手机是小米a1😃
今天的收获可能更多来自 alibaba Jingren Zhou 的 talk “Real-Time Data Analytics and Intelligence at Alibaba” 和 PorlarFS。
由于 Jingren Zhou 是阿里云计算平台负责人,所以这次带来的分享集中在 Max Compute(前 ODPS)。阿里 MaxCompute 同时结合 batch processing,stream processing 和 graph processing,同时还支持 SQL,上层以 hive SQL 为接口,下层可能是 flink 的 streaming SQL 或者是 batch processing 下的 SQL(类似 hive)。这是一个非常强大的系统。通常分析系统自成一派互不干涉,而 MaxCompute 融合了各种计算方案,用户不需要知道太多底层系统方案就可以开始数据分析工作。
比较重要的一点是 MaxCompute 会根据用户指定的数据分析的总用时(比如这个报表我希望能在6h之内看到)进行 auto tuning,何解呢?阿里在半夜12点往往有大量的数据处理正在进行,如果所有的 job 都用 best effort 的方式调度,那可能出现有些不紧急任务(比如它只限制12h内完成)可能先于紧急任务(希望1h完成)。所以任务调度上需要做出调整,合理安排 job 时间,最好让所有任务都能不紧不慢地完成。这个策略称为 progressive processing,在内部尚未 release,未来可能可以看到 阿里在这方面的 paper。
PolarFS 几乎与论文内描述没有什么不同,唯一区别在于会后我询问了作者之一的 刘振军,关于 PolarFS 在如何进行 data replication。因为论文里讲到 replication 使用 Parallel Raft,而这是一个非常 unreasonable 的做法。因为正常 WAL 的写方案相当于数据连日志一起需要写两份,我们内部甚至争论只有 metadata 进行了 raft 复制。而文件系统作为存储的最底层是不应该写两份数据的。这点 liu 谈到是时间有限,当下也正在优化这部分工作。
中午饭点是一个大餐厅,容纳与会的上百人用餐。因为中国人一起只会说中文,两个老外在我们七个中国人边上很尴尬地做了两分钟就收餐盘离去。同桌的人除了美国学术界华人,国内学术界出身的工业界华人,美国工业界华人之外就是我,国内本科出身工业界华人。所以未来还是希望勤能补拙吧。
每场会之后都会有 social 环节,不是很有意思。晚上我为了倒时差又去睡了3小时,晚上8点时分,我去吧台点了一杯苹果汁。一位加拿大小哥坐在我边上,我们一起聊了四十分钟。
小哥是 waterloo 做图数据库研究的,图数据库是当下非常火爆的 area。譬如判断淘宝订单是否是刷单,淘宝后台可能会分析支付宝转账信息,如果最终交易的钱款从 A 转到 B,最终又转到 A ,那说明 A 一定在刷单。这个 fraud detection 的问题可以在 graph db 里抽象为 circle detection。(所以刷单转账一定要用微信转....
通常 graph db 提供建图,查图的 API。类似于 olap system,graph db 是一个读多于写的场景 。小哥相当于用 java 写了一套图数据库,竞争对手包括 neo4j 和 dgraph 等。图数据库现在来看是一个大的 business。小米未来相信很快也会有相关需求。
小哥非常喜欢阿里(原话是"it’s a crazy company"),因为他被 maxcompute 震撼到了,特别想去拿阿里的 offer。我也不太好意思告诉他阿里的加班文化,当然阿里背后的雄厚技术实力是大家不得不承认的。另外多说一句,小哥的手机是小米a1😃