2022년 4월 27일 스터디

[hyeriful]

Issue Brief

범위

• 데이터 중심 애플리케이션 설계: 3장 3장: 저장소와 검색

[matteblack9]

p77 (자문자답..)

• 동시성 제어의 경우, 하나의 쓰기 스레드만 사용하는 것이 일반적이라고 설명되어있는데, 수백만 수억의 사용자가 사용하는 서비스에서는 어떻게 동기화를 할까?
  • SQL
    • Table Lock, Record 단위로 락, Batch 전략 등등...
  • NoSQL
    • 
    • MVCC / row-level isolation / RW Lock(Global Lock)
  • 실제 서비스에는 어떻게 활용할까?
    • https://tech.kakao.com/2020/06/08/websocket-part1/
• LSM 트리의 경우에는 멀티유저 시스템에서 어떻게 동작할까요? 각 connection에 대한 레벨 별 segment를 따로 만드는걸까요?

[gimmizz]

• p.77 -> 툼스톤(tombstone)?

  • 삭제 에정임을 나타내는 플래그
  • 활용예시1) Prometheus: API를 통해 시리즈를 삭제하면 삭제 레코드는 청크 파일에서 즉시 데이터를 삭제하는 대신 별도의 툼스톤(묘비) 파일에 저장
  • 활용예시2) 카산드라: 여러대의 노드에 분산 -> 노드에 이슈가 생긴 것과, 삭제예정(툼스톤 플래그)인 데이터를 구분할 수 있음

• p.98 -> 눈꽃송이스키마(snowflake schema)가 별모양스키마(star schema)보다 더 정규화됐지만, 분석가들이 별 모양 스키마를 작업하기 더 쉽다는 이유로 선호한다. 왜지?

  • Star스키마는 대용량에서 많이 사용됩니다. 분석관점이 명확하고 데이터 건수가 많은 경우에 유리하지만, 다른 관점으로 분석 요구 시 Dimension테이블이 추가 되고 Fact테이블에 대해서 변경이 일어 날 경우 처음부터 다시 쌓거나 다른 사실테이블을 만들어야 하는 불편함이 있습니다. 그러다 보니, 비슷한 테이블들이 여러 존재하고 너무 많아 지면 ETL에서 시간이 늘어나는 점이 있으니 유의 해야 합니다. 경험상으로는 분석관점이 명확할 때 사용해야 하는데 그렇지 않을 경우에는 Snowflake스키마가 더 적합할 때가 있습니다. 출처: https://unabated.tistory.com/entry/다차원-모델링12 [랄라라]

• p.100 -> 비관계형 데이터에도 (칼럼저장소를) 동일하게 적용할 수 있다. 예를 들어 파케이는 구글의 드레멜을 기반으로 한, 문서 데이터 모델을 지원하는 칼럼 저장소 형식이다. 더 찾아보자.

• p.104 -> 가상 뷰에서 읽을 때 SQL 엔진은 뷰의 원래 질의로 즉성에서 확장하고 나서 질의를 처리한다. ?

[gimmizz]

• p.79 -> memtable -> 임계값보다 커지면 SS 테이블 파일로 디스크에 기록한다는 것은 이해했는데, SS 테이블에 대한 인메모리 색인은 어떻게 업데이트하는걸까?