Implement splitting a large data input into chunks for client - Githubissues

paust-team / paust-db

GNU General Public License v3.0

6 stars 5 forks source link

Implement splitting a large data input into chunks for client #54

Open dragon0170 opened 5 years ago

dragon0170 commented 5 years ago

Reference https://github.com/paust-team/paust-db/issues/25#issuecomment-447734748

현재 client에는 파일이나 STDIN을 입력받아서 해당 데이터를 그대로 하나의 tx에 담아서 보냄
너무 큰 데이터를 하나의 tx으로 보내면 네트워크나 노드에 무리가 갈 수 있으므로 client에서 일정 사이즈로 chunk하여 여러 tx로 나누어 보내는 기능을 추가하는 것이 목표
- chunk하는 사이즈에 대한 discussion이 필요할 것으로 보임

dragon0170 commented 5 years ago

Tendermint block의 사이즈는 ABCI app에서 0 ~ 100MB까지 설정 가능합니다. (https://tendermint.com/docs/spec/abci/apps.html#blocksize-maxbytes)
- tx의 사이즈는 block의 사이즈보다 클 수 없습니다.(https://github.com/tendermint/tendermint/blob/master/docs/spec/consensus/creating-proposal.md)
- 다른 node로부터 receive 가능한 tx의 최대 사이즈는 현재 1MB로 고정되어 있습니다.(https://github.com/tendermint/tendermint/blob/master/mempool/reactor.go#L21)

elon0823 commented 5 years ago

1Q 에서 지원하지 않는것으로 회의 되었습니다.