Experiment : make not-full-copy decentralized store

[kwjooo]

Experiment : make not-full-copy decentralized store

Problem

163

full-copy blockchain의 경우 consensus에 참여하는 node의 수가 많을 수록 latency가 발생한다. 또한 space 관점에서도 모든 데이터를 저장하는 것은 비효율적이다.

Purpose

• 분산 저장이 가능한 blockchain을 설계하여 space complexity를 낮추는 것에 목적이 있다.

Approach

• 전체 네트워크 pool을 group의 단위로 나눈다.(이 때 group은 전체 state를 형성할 수 있어야 한다.)
• data group안의 node들은 적당한 redundancy를 확보한 채 분산저장을 한다.(적당한에 대해 실험이 필요함. 하지만 이번 실험은 space complexity와 latency에 집중할 것임)
• group내 데이터 분산 저장은 분산 저장 알고리즘(raft, paxos 혹은 변형. 조사 필요)을 이용한다.
• 모든 그룹간의 data integrity 유지를 위해 group의 leader들은 consensus(ex.pbft)를 이용하여 sync를 유지한다.
• query 요청 시 최종적으로 각 group의 leader에게로 요청이 전달되며 leader가 해당 query에 대한 처리를 위해 data를 가지고 있는 node의 id를 알려준다.
• 이 때 database는 timestamp를 rowkey로 한 rocksdb를 이용.

선행 Survey

• 분산 database 별 디테일한 분산저장하는 알고리즘과 전체 state를 찾는 방식
• leader 선출 알고리즘
• leader, candidate 역할 정리
• transaction 처리 로직
• node sync 방식,로직
• node 간 network 통신 방식

Derive

• 데이터 분산 저장
• 최종적인 분산 저장 consensus를 위한 접근 관점

Next Experiment point

• group이 하나일 경우 data integrity를 유지하기 위한 algorithm은 어떻게 만들지..?
• group에 참여할 수 있는 node의 수는 제한이 있을 것이며, group이 증가할 수록 validator로써 참여하는 node의 수가 많아지므로 latency는 높아질 것으로 예상... -> validator를 반으로 나누어 chain을 2개로 만들면 어떨까? between query에 대해 다른 chain에 동일한 query를 하는 방식으로 전체 state에 대한 query응답과 동일하게 줄 수 있을 것 같은데.. -> chain이 나뉜 만큼 query를 해야하므로 2개씩 나뉜다면 O(2의n승)이 될 것.. query성능이 좋지 않음..
• group내에서 byzantine node가 leader가 되면..? -> 하나의 group에만 query하는 것은 위험할 수 있음
• byzantine node가 leader가 아닐 때 할 수 있는 악의적인 행동은?

Due date

• 4/19

[kwjooo]

@code-to-gold @elon0823 @co1god 제대로 방향을 잡았는 지 확신이 안섭니다.. comment 부탁드려요

[elon0823]

• group에 대한 개념정리가 필요합니다. 회의때 구두로 얘기한 내용이니 데니스에게도 어떻게 할지를 공유해주세요
• 현재 실험은 byzantine node 에 대한 대응을 처리하고 방법을 설계하는 것보다 타 분산 db에서 분산된 노드를 관리하고 저장하는 data storing 관점에서만 접근하기로 한거 아니였나요? 그렇다면 cockroach db 나 zookeeper 에서 데이터를 분산하여 저장하고 관리하고 쿼리하고 하는 프로세스에 대한 잘 이해하고 정리해서 paust-db 에서는 어떻게 변형하여 사용할지를 derive 하는것이 좋을 것 같아요

[kwjooo]

현재 실험은 byzantine node 에 대한 대응을 처리하고 방법을 설계하는 것보다 타 분산 db에서 분산된 노드를 관리하고 저장하는 data storing 관점에서만 접근하기로 한거 아니였나요? -> 그룹 안에서 처리하는 관점인데 그룹 안 부터 구현하면서 접근하려합니다. derive에 next experiment 부분이 포함되어있네요.. 나누겠습니다 group을 구성하는 방법, 새로운 node 추가 시 group에 포함 시키는 rule등이 아직 부족한데 우선은 하나의 group내에서 분산 저장을 구현할 예정입니다

[kwjooo]

@elon0823 @code-to-gold 의 피드백으로 해당 issue내용을 수정하겠습니다.

[kwjooo]

본 issue는 실험 설계라 보기 힘든 점이 많아 close후 피드백을 바탕으로 새로 issue를 만들겠습니다.