Make distributed time-series database based on libp2p to decrease space complexity

[kwjooo]

Make distributed time-series database based on libp2p to decrease space complexity

Problem

• reference : #165
• full-copy database의 경우 query의 성능이 뛰어나나 space complexity가 높으므로 분산 저장이 필요함

Intro

• space complexity가 가장 낮은 구조는 fully-distributed 구조.
• 우선 fault(일반적인 db의 fault와 byzantine fault)를 고려하지 않고 put과 between query가 가능한 완전 분산 database 구현
• @elon0823 의 실험은 full-copy 상황에서 blockstore 구조에 초점이 있다면 본 실험은 distributed 상황에서 data 분산에 초점이 있음
• query 시 전체 state를 찾기 위해 모든 node에 같은 query를 요청하여 response를 얻음
• 완전 분산 구조를 base로 하여 redundancy logic을 정해가며 실험해 보려함
• redundancy logic에 따라 query시 통신해야하는 양이 달라질 것으로 예상.
• redundancy에 따라 fault tolerance가 달라질 것으로 예상
• 즉 time series data를 어떻게 분산하는 로직이 실험의 주제임

[kwjooo]

flink에서 operator들이 time series를 분산하여 저장하는 방식은 paust-db의 p2p상황에서 node간에 time series를 분산하는 방식과 유사하다고 함. 또한 flink에서 zookeeper의 역할을 p2p상황에서 해결한 것이 paust-db일 것이라고 말한 만큼 flink에 대한 심도있는 조사가 필요함. kafka에 대한 정리를 마친 후 flink 조사하겠음. 조사 후 가설을 세우고 해당 실험 base를 만드는 방향으로 가려함