3차 스터디 일정

[zookong]

• 일시 : 2024년 03월 03일 21시 ~

---

• 03장: 저장소와 검색
  • 데이터베이스를 강력하게 만드는 데이터 구조
    • 해시 색인
    • SS테이블과 LSM 트리
    • B 트리
    • B 트리와 LSM 트리 비교
    • 기타 색인 구조
  • 트랜잭션 처리나 분석?
    • 데이터 웨어하우징
    • 분석용 스키마: 별 모양 스키마와 눈꽃송이 모양 스키마
  • 칼럼 지향 저장소
    • 칼럼 압축
    • 칼럼 저장소의 순서 정렬
    • 칼럼 지향 저장소에 쓰기
    • 집계: 데이터 큐브와 구체화 뷰
  • 정리
• 04장: 부호화와 발전
  • 데이터 부호화 형식
    • 언어별 형식
    • JSON과 XML, 이진 변형
    • 스리프트와 프로토콜 버퍼
    • 아브로
    • 스키마의 장점
  • 데이터플로 모드
    • 데이터베이스를 통한 데이터플로
    • 서비스를 통한 데이터플로: REST와 RPC
    • 메시지 전달 데이터플로
  • 정리

[zookong]

1. 데이터 저장에서 디스크 공간 부족에 대한 해결책으로 파일을 세그먼트 단위로 분리하는 이유가 뭘까?
2. 디스크에 해시 맵을 유지하면 좋은 성능을 왜 기대하기 어려울까?
3. 데이터 처리와 압축에 대한 벡터화

---

CPU 분기 예측 실패, 버블 타이트 루프 벡터화 런 렝스 부호화 트라이 오토마톤 레벤슈타인 오토마톤

[withbeth]

< Question >

1. 왜 NoSQL은 B트리를 이용하지 않고, LSM트리를 이용하는가?
2. 왜 RBD는 LSM트리를 이용하지 않고, B트리를 이용하는가?
3. 칼럼별 데이터 저장시 확장성은 어떻게 확보하나?
4. LSM 트리의 높은 쓰기 처리량 높은 이유가, 인메모리에 일단 써서 그런건가? RBD도 동일한 방식을 취하지 않나?

---

< Answer from GPT >

영어 원본 책 PDF를 GPT에게 분석후, PDF 기반으로 대답한 결과

• NoSQL 데이터베이스가 B 트리 대신 LSM 트리를 사용하는 이유는 LSM 트리가 설계상 더 높은 쓰기 처리량과 쓰기 증폭을 줄일 수 있기 때문입니다. LSM 트리는 데이터를 추가 전용 방식으로 초기에 쓰게 되어, 저장 매체에서 더 빠르고 효율적인 순차 쓰기를 가능하게 합니다. 이는 B 트리가 업데이트와 삽입에 필요한 무작위 쓰기에 비해 유리합니다. 따라서 LSM 트리는 NoSQL 사용 사례에서 흔히 발견되는 쓰기 중심 애플리케이션에 특히 적합합니다.

• 관계형 데이터베이스 관리 시스템(RDBMS)이 B 트리를 선호하는 이유는 B 트리가 더 효율적인 읽기 작업을 제공하기 때문입니다. B 트리는 데이터를 정렬된 구조로 유지하여 빠른 조회, 범위 쿼리 및 순차 액세스 패턴을 가능하게 합니다. 이러한 패턴은 트랜잭션 워크로드에서 흔히 나타납니다. B 트리는 또한 다양한 워크로드에 걸쳐 예측 가능한 성능을 제공하는 성숙한 기술로, 즉각적인 일관성과 빠른 읽기 성능이 중요한 시스템에서 신뢰할 수 있는 선택입니다.

• 칼럼별 데이터 저장에서 확장성 확보는 그 설계로 인해 자연스럽게 더 압축 가능하고 읽기 쿼리에 대한 I/O 작업을 크게 줄일 수 있습니다. 데이터를 여러 노드나 서버에 분산하여 시스템이 더 많은 쿼리를 병렬로 처리할 수 있도록 함으로써 확장성을 더욱 향상시킵니다. 현대의 칼럼 기반 데이터베이스는 분석 워크로드에 대해 높은 성능을 유지하면서 확장성을 보장하기 위해 파티셔닝, 인덱싱, 데이터 샤딩과 같은 다양한 기술을 채택하고 있습니다.

• LSM 트리의 높은 쓰기 처리량은 일부 데이터를 먼저 인메모리 구조(memtable)에 쓰고 나중에 디스크로 순차적으로 플러시하는 방식 때문입니다. 이 접근법은 일반적으로 더 느린 무작위 디스크 I/O 작업의 필요성을 줄입니다. RDBMS도 트랜잭션 무결성을 위해 인메모리 버퍼와 WAL(write-ahead logging)을 사용하지만, LSM 트리의 설계는 이 순차 쓰기를 병합하고 압축함으로써 쓰기 성능을 더욱 최적화합니다. LSM 트리의 압축 과정은 효율적으로 저장소를 관리하고 데이터가 압축되고 연속적인 상태를 유지하도록 보장합니다.

[gzgzg2]

• 데이터를 블록으로 압축하면 왜 디스크 I/O의 대역폭이 줄어드는 걸까?
• 키를 바이트오프셋과 매핑하면 어떻게 한번의 디스크 탐색으로 값을 찾을 수 있는 걸까? 디스크는 하나의 데이터를 읽을 때도 데이터를 전부 읽을 때까지 회전이 필요한 것이 아닌가?
• 데이터 샤딩할 때도 블룸필터를 자주 쓰는 것 같다!
• 레디스는 메시지 브로커처럼 사용할 수 있지만 버퍼 기능이 없으니 완벽한 메시지 브로커라고 할 수 없는 것일까?