Countermeasure for Big data in reviews

[dgryoo]

Countermeasure for Big data in reviews

문제 상횡

• Review는 사용자에 비례하여 증가하기 때문에 사용자가 증가하므로 용량이 커짐
• 대용량에 대한 대책 필요

해결방안

Cassandra DB를 이용한 설계

reference : Cassandra 테이블 디자인

키설계

• 팀ID ( Partition key )
• Timestamp ( Clustering Key )
• 리뷰ID ( Clustering Key )

장점

• 데이터가 Clustering Key 설정에 따라 오름/내림차순으로 정렬되 어 삽입되기 때문에 조회시 정렬 연산이 불필요해 조회 조건에 빠르게 응답
• 데이터 삽입시 Partition Key 설정에 따라 각 노드에 분산되고 특정 팀ID에 대한 리뷰가 하나의 노드에 저장됨으로서 빠른 목록 조회가 가능
• Gossip Protocol을 통해 각 노드간에 데이터가 Eventual Consistency 하게 관리
• Multiple copied Replica로 특정노드가 장애시 replica를 가진 다른 노드가 역할을 수행하여 가용성이 높음

단점

• Eventual Consistency 하지만 각 Node 마다 조회 결과가 다르게 나올 수 있음
• Hotspot Node에 대한 관리와 장애대책에 대한 설정 필요