Closed syncpark closed 3 months ago
@syncpark 논의가 좀 길어질 수도 있으니 이를 discussion으로 옮기는 것이 어떨까요?
Giganto는 public repository이니 patio에 올리겠습니다. 그리고 지금 Giganto discussion에 있는 성능 관련 discussion도 patio로 옮겼으면 합니다.
이번 이슈는 좀 더 논의가 필요해서 discussion으로 이동했으니 여기서 Close하겠습니다.
@syncpark dicussion으로 이동하는 것은 오른쪽 "Convert to discussion" 기능을 사용하면 되는데, 알고 계신가요?
@syncpark @sophie-cluml, 이슈 등을 public repo에서 private repo로 이동시키고 싶을 때에는 close하고 다시 open하기 보다는 이동이 더 좋겠습니다. close한 것이 public에서 확인이 가능하니까요.
Tis branch의 Giganto 버전은 현재 평균 200,000건 이상의 이벤트를 1초에 수신하고 (최대 270,000건), 저장합니다. 1일로 환산하면 약 200억건의 이벤트를 처리하는데 그중에서 95% 정도가
Conn
(세션) 이벤트입니다. 이제 Main branch도 수정되었으니 같은 상황이 예상됩니다.하루에 약 190억건의 이벤트가
Conn
DB에 저장되는데, 이를 감당하기 쉽지 않아서 Compaction 작업이나 Heavy event search 작업중에 Rocks DB가 깨지는 문제가 종종 발생하고 있습니다.아래와 같은 방법으로 해결해보려고 합니다.
DB 깨지는 문제 해결
Conn
이벤트를 하루 10억건 이하로 저장할 수 있도록 다수의 DB로 분산 저장한다.Conn
이벤트만이 아니라 다른 이벤트도 관리자가 지정할 경우 DB를 분산하도록 기능을 확장한다.의견 부탁드립니다.