repo:PureFlash Global LMT vs Private LMT

[cocalele]

Global

• 每个node自己加锁操作的话， 数据量最大会有16M，性能不会好
• 使用LMT owner协助，会好一些
• RDMA 直接操作owner的内存是否可行？ 即使能操作内存，也无法控制redolog的写入

Private

• 哪个volume属于哪个node，相对要是固定的，灵活性不够，
• 故障迁移，比如S1故障，上面的两个volume A, B打算分别迁往 S2, S3，需要的操作步骤： 1） S2 对S1 meta加锁， 2） S2读取S1 meta, 从中摘出volume A的LMT， 3） 将摘除了volume A的剩余 LMT 写入S1 meta 4) 将添加了volume A的自己的LMT 写入S2 (自己） meta 5) 请求jconductor， 将volume A的owner 改成S2 6) S3重复上面的过程，迁移volume B。

[qiyuanzhi]

Global FreeList + Global Trimlist + private blockmap/redolog

一次block的分配，需要至少5次IO操作：

1） ATS 拿锁 ===> 一次IO；

2）读取free list ====> N 次 IO

3） 分配到block，持久化Free List ====> N 次 IO；

4）Redolog ===> 一次IO；

5）ATS释放锁 =====> 一次IO；

Free List被持久化，但是LMT（Redolog）没有被持久化，可能导致再次加载时，block的丢失。

迁移过程

故障迁移（S1->S2）

1）S2 open volume；

2）S2 加载 volume在SSD上的Block Map + Redolog的回放 ==》可能会导致open volume的时间的增加；

3）更新volume的ATS，保证当前这个volume的归属于S2；

[cocalele]

最终选择方案 ： Global LMT + Private copy Global LMT由owner控制，所有的LMT操作都发往owner节点执行。但是volume所在（被打开使用）的工作节点会保留一份和这个volume相关的内存拷贝。 当需要修改LMT(分配，删除 object)的时候，工作节点将修改操作发往owner节点，并在自己的私有副本中进行同样的修改。