neverchanje / notes

1 stars 0 forks source link

vldb 2018 day2 2018-08-27 #11

Closed neverchanje closed 5 years ago

neverchanje commented 6 years ago

这是到巴西之后的第一天工作日,因为时差我一夜未睡,早晨来会议报到处,我拿到 vldb 的手提袋和胸牌之后,开始熟悉各个会议室的方位和环境,直到 9 点钟,第一场 workshop 开始。

理论上 workshop 是需要注册的时候购买的,大约 1000 元人民币左右,但是据说可以蹭会,我就省掉了这点开销。腾讯的大佬们在微信群里邀约当日游览里约,我们比较勤奋,抵住了诱惑,也是希望回来好交差。

第一场 workshop dongxu 代表 pingcap 去 BOSS (Big Open Source System) 做 talk,而我就跑去 ADMS (利用硬件提速数据分析) 听 ibm 的量子计算介绍。刚开始能听懂一些 history,后面就听的很吃力了,我如果没有背景知识,基本英语理解能力为零。后来我才发现 BRITE 的演讲厅原来在一个不起眼的小房间。BRITE 旨在 Real-Time Business Intelligence and Analytics 的分享,可以说与我们 pegasus 最为相关。

错过 BRTIE 的第一场,我首先听的 keynote 是 “Bringing Global-Scale Data Management Closer to the Users”,其主旨是在大量 IOT 设备的背景下,为了提高用户体验,最好是能扩大机房分布。例如石家庄与北京共用一个北京机房(Core Data-center),如果能在石家庄独立运营一个小机房(Edge Data-center),对石家庄用户的体验自然能有所提升。这一问题属于 “Edge Computing”(边缘计算)的范畴,是由云计算兴起所带来的新兴领域。这种 “最后一公里” 的问题有点类似共享单车。

多机房共有数据带来的问题就是数据一致性的维护变得特别复杂, 总的来说有两种方式

  1. edge data-center 只维护 cache,用大量的 front-end servers 去挡住大量请求。
  2. 使用 paxos 维护十几个节点的 geo-replication

cache 的思路以自适应 cache 为主,但 cache 的方案与我们不太相关。 另一种方案使用 flexible paxos 和 dpaxos,大致的算法思路是,leader election 时需要获得过半机房的投票,而 replication 的时候只需要获得主机房的同意即可。细节很多,我也不懂。

image

http://dormantdata.com/oceanprofile/