search

RustMagazine / rust_magazine_2021

RustMagazine 2021 期刊 (已完结)
https://rustmagazine.github.io/rust_magazine_2021/
MIT License
1.19k stars 113 forks source link

开源产品 | TensorBase，基于Rust的现代化开源数据仓库 - Rust精选 #107

Open utterances-bot opened 3 years ago

utterances-bot commented 3 years ago

开源产品 | TensorBase，基于Rust的现代化开源数据仓库 - Rust精选

The roots aren't deep but the seeds are planted!

https://rustmagazine.github.io/rust_magazine_2021/chapter_4/tensorbase.html

tianjiqx commented 3 years ago

如何理解TensorBase Partition Tree，看介绍是直接追加到分区，却不需要compaction。如何处理update，delete操作，是需要查询时更上层做记录的合并吗。希望了解更多的细节。

jinmingjian commented 3 years ago

是的，compaction不是必须的，但会在即将到来的自适应存储层中加入。当update/delete发生时，是特殊标记的一列，这个可以发生在上层（online）也可以嵌入自适应存储层（offline）。当然update/delete功能其实还没有实现，但你看，不难，我们将在这个夏天完成这个工作，也欢迎大家一起参与进来！

tianjiqx commented 3 years ago

感谢回复。 确实，根据面对的场景不同，compaction不是必须的。如果只是写一次不更新，或者没有主键概念是不需要合并的。 另外，即使存在主键概念，允许update，delete操作，也可以让单delta文件内有序存储，多个scanner同时扫描delta文件合并输出，在计算引擎完成compaction。

jinmingjian commented 3 years ago

@tianjiqx 你得到了它！谢谢！TensorBase，我们想系统和工程做简单但高效，我们想基于全新的思路打造全新的大数据基础设施，我们想聚拢你这样的对AP有思考和有理想的小伙伴一起做这件事！欢迎到我们的社区来！

QuintinTao commented 2 years ago

微信群加入不了了。提示扫码次数已达到上限，想进一步学习。

ZhangHanDong commented 2 years ago

@QuintinTao 去 TensorBase 项目下联系作者

jinmingjian commented 2 years ago

@QuintinTao 一忙就忘了:pray: 我等会儿更新一下，对于有各种问题的小伙伴，也可以直接加我微信：surfeitbj @ZhangHanDong 汉东，我们的杂志好啊！念念不忘，必有回响！😃

QuintinTao commented 2 years ago

@QuintinTao 去 TensorBase 项目下联系作者

感谢大佬