search

GitDataAI / jzfs

A Git-like Version Control File System for Datasets Management in the Era of AI.
https://gitdata.ai
Other
75 stars 5 forks source link

feat: 简化block存储 #144

Closed hunjixin closed 8 months ago

hunjixin commented 8 months ago

lakefs的设计中id和文件内容有上层指定，在保存到下层。这样对下层在处理问题是存在问题

改成只给定namespace和文件内存，有下层存储返回一个唯一id索引上来

优点：能更好的适应各种存储 缺点： 上层一致性查，相同id的文件在不同的存储中索引id会不一样，由于id不一致也会导致上层版本不一致