Problem of full-copy structure which paust-db prototype has

paust-team / paust-db

GNU General Public License v3.0

6 stars 5 forks source link

Problem of full-copy structure which paust-db prototype has #165

Open kwjooo opened 5 years ago

kwjooo commented 5 years ago

모든 노드가 같은 state를 가지는 full-copy의 경우 query 성능은 뛰어나지만, space관점에서 비효율적이다. paust-db는 decentralized feature를 만족하기 위해 byzantine fault tolerance를 가져야 한다. 이 특성을 유지하면서 query성능을 높일 수 있는 consensus와 분산 저장 구조를 고안하는 것이 필요하다.

kwjooo commented 5 years ago

bft를 고려한 상황에서 분산 저장을 실현하는 것은 힘들어 기존 분산 저장 database를 구현하고 이를 p2p상황으로 가져와 paust-db fault를 견딜 수 있는 구조로 보완해 나가려 함

kwjooo commented 5 years ago

기존 분산 database인 cockroachdb와 zookeeper를 조사하여

transaction 집합을 분산 저장을 하는 logic
range query 시 전체 state에 대한 응답을 주는 logic
새로운 node참여 시 sync

에 대한 디테일한 설계 후 실험 이슈를 생성하려 함

생성할 이슈의 목적은 time series data를 분산하여 저장하고 range query에 빠른 응답을 줄 수 있는 database 설계에 있음.

kwjooo commented 5 years ago

consensus 문제는 clustering problem으로 distributed cluster와 decentralized cluster에 교집합을 찾는 문제라 볼 수 있다. decentralized cluster는 확장성은 한정되어 있으나 replica가 확장이 되며 distributed cluster는 replica는 한정되어 있으나 확장성이 뛰어나다. distributed cluster에 대한 이해도가 부족하여 해당 문제를 풀기 어려우므로 streaming을 구현한 distributed cluster인 flink를 직접 구축해 이해도를 높이려 한다.