[2023-07-18] Intro to Database Systems 3강 - Data Storage 1

CoodingPenguin commented 1 year ago

📌 개요

시간: 2023-07-18(화) 21:00
자료: 3강 Data Storage 1
참여자: 펭귄, 그루트, 렉사, 나강

✍️ 준비

아래 양식을 복사해 스터디 준비를 완료해주세요!

## 💬 생각

<!--강의를 듣고 생각한 내용을 3줄 내로 간단히 정리해주세요!-->

- ...

## ❓ 질문

<!--공부하면서 궁금한 점을 작성해주세요!-->

- ...

## 📚 참고 자료

<!--공부하면서 같이 공부한 자료를 첨부 및 공유해주세요!-->

- [...](...)

CoodingPenguin commented 1 year ago

💬 생각

갑자기 급 어려워졌다.. OS 내용도 설명해서 시스템 관련해서 더 단단히 공부해야겠다.
초반에 OS를 DBMS에서 사용하지 않는 이유에 대해 나왔는데, 데이터베이스를 관리할 때는 좀 더 specific한 요구사항이 있기 때문에 DBMS 자체에서 페이지를 관리한다고 느껴졌다.
전반적으로 페이지를 어떻게 트래킹하고 저장하는지 봤지만 완전히 이해하지는 못했다..ㅠㅠ

아무렇게나 정리해본 강의 요약

- 데이터베이스 파일은 여러 개의 페이지로 구성되어 있다. - 데이터베이스 파일 안에 데이터 페이지의 위치를 트래킹하기 위한 특별한 페이지가 존재한다. (= Directory) - 이 페이지에서는 각 페이지별 빈 슬롯의 개수와 빈 페이지를 기록하고 있다. - 각 페이지는 헤더와 데이터로 구성되어 있다. - 헤더는 페이지의 내용물에 관한 메타 데이터를 가지고 있다. - 이 메타 데이터로는 페이지 크기, 체크썸, DBMS 버전, 트랜젝션 가시성(?), 압축 정보가 포함된다. - 튜플 지향 방식은 몇 개의 튜플이 있는지 트래킹하고 새로운 튜플을 추가할 때 끝에 추가한다. - 튜플이 삭제되었을 때, 빈 공간을 처리하기 위해서 슬롯 페이지 방식을 사용한다. - 슬롯 배열은 각 슬롯을 튜플의 시작 지점의 오프셋과 매핑시켜준다. - 추가적으로 헤더에서 슬롯의 개수와 마지막으로 사용한 슬롯의 시작 위치의 오프셋을 트래킹한다. - 각 튜플을 트래킹하기 위해서 튜플에 식별자(record identifier)를 부여한다. - 튜플은 일련의 바이트이고, DBMS는 이 바이트를 속성 자료형과 값으로 해석한다. - 튜플은 헤더와 속성 데이터로 구성되어 있다. - 헤더는 가시성 정보(?)와 NULL 값에 대한 비트맵을 가진다. - 그래서 스키마에 대한 메타 데이터를 저장할 필요가 없다. (?) - 속성 정보는 우리가 CREATE 할 때 지정한 순서대로 저장한다. - DBMS에서는 Physically Denormalize를 하기도 한다. (= Pre Join) - 관련된 튜플을 한 페이지에 저장하는 것을 말한다.

❓ 질문

왜 OS를 쓰지 않는 이유에 대해서 다같이 이해한 바를 이야기하면 좋을 것 같습니다.
- 정리하자면, 데이터를 다뤄야하는 specific한 니즈가 있기 때문으로 결론남.
정리하면 파일 안에 여러 개의 페이지가 있고 페이지 안에 여러 개의 튜플이 있는 게 맞을까요?
- 맞습니다.
"Some systems require pages to be self-contained"라는 말이 잘 이해가 안 됩니다.
- 뭔가 스스로 메타 데이터를 가지고 있다 이런 느낌으로 풀이되는 듯 합니다.
"Transaction Visibility", "Visibility Info" 등 여기서 말하는 가시성(Visibility)가 무엇일까요?
- ?
Tuple Layout 설명하는 부분에서 "Bit Map for NULL values"가 어떤 걸 의미하나요?
- NULL을 어떻게 표시하는 지에 대한 내용입니다.

📚 참고 자료

[Database] DBA급 개발자로 - #3 Database Storage 1/2 | DEVVY

jonyejin commented 1 year ago

💬 생각

진짜로 갑자기 어려워졌다ㅠㅠ OS책 펴놓고 공부 다시 해야할듯 ㅠㅡㅠ
지난강까지는 logical level에서 데이터베이스를 배웠다. 다음 시간부터는 DBMS와 같이 데이터베이스를 다룰 수 있는 소프트웨어를 만드는 방법을 배운다.
나중에 배울거: single node -> multiple nodes
- distributed
- potpurri?
Disk Manager => Buffer Pool Manager => Access Methods => Operatroe Execution => Query Planning 순으로 배운다.
‘Access Times: Latency Numbers Every Programmer Should Know’

❓ 질문

physically denormalize는 뭔지 모르겠어요! => 데이터베이스 정규화를 하지 않는 이유와 같다.

📚 참고 자료

이 블로그도 정리 잘 되어 있습니다.

🥹 더 찾아볼거/배운거

가상메모리 오랜만에 보려니까 기억 안남!

Redis

RSS Memory로 봐야 가상메모리 아니고 실제로 다 볼 수 있음

Nagunt commented 1 year ago

💬 생각

여기부터는 2장과는 달리 실질적인 사용법이 아니라 DB에 대한 개념에 대한 이야기가 주로 나옴.
이번 장에서는 DB를 관리하기 위한 소프트웨어를 어떻게 만드는가 부터 시작해서, Disk 관리에 대한 이야기를 주로 다룬듯.
DBMS는 OS에 의존하는 파일 관리?를 사용하지 않고, 자체적인 파일 관리 시스템을 사용하는데, 아무래도 시스템 전반적인 것을 총괄해야하는 OS와, 오직 DB관리에만 집중해야 하는 DBMS이라는 소프트웨어의 목적 차이로 인해 발생하는 성능 차이 등으로 인한 이유인 듯 하다. "OS는 님 친구가 아닙니다."
DBMS에서 어떠한 방식으로 파일을 저장하고 관리하는지 그 개요를 엿볼 수 있었다.

❓ 질문

페이지의 종류 중 Hardware Page, OS Page, Database Page가 있다는데, Database Page는 필요하다 쳐도 Hardware Page와 OS Page가 어째서 필요한지 잘 모르겠다.
- Hardware와 OS Page는 각각 Hardware와 OS에서 사용하는 Page로, PPT를 잘 못 만들어서 생긴 오해였다. DBMS에서는 Database Page만 사용하게 된다.

IamGroooooot commented 1 year ago

💬 생각

이제부터 시작되었다!
Memory Write를 할 때 왜 OS를 쓰지 않는지 알 수 있었다
Loki, Redis 같은 오픈소스 DB를 구축하다보면 Page를 관리하고 추적하거나 저장하는 여러 방법에 관해서 커스텀할 수 있거나 단점에 관해서 설명하는 글을 읽을 때가 많았는데 단순히 장단점만 보고 넘어가는 느낌이라서 찝찝했다. 이러한 개념들에 대해 장/단점을 도표로 보며 이해할 수 있어서 좋았다.

❓ 질문

일반적인 경우는 아니지만 Redis를 저렴한 EC2 인스턴스 띄울려고 swap 메모리를 할당해서 띄운적이 있음. Redis를 쓰다가 swap 메모리를 쓰게 되면 그 페이지를 접근할 때마다 엄청 느려지는 현상이 발생했는데 이런 디스크 기반 RDBMS에서는 swap을 끄는지 키는지 궁금하다.
- 선택인듯. 어차피 Swap이 쓰이는 것은 터질 때까지 갔다는 뜻.
- Swap도 디스크별로 할당해서 부하를 분산할 수 있다고 함

📚 참고 자료

이전에 Redis를 공부하며 발표한 자료(외부 자료 복붙해서 공유 불가능)가 있는데 시간이 된다면 공유를 해보겠습니다.
- swap, page 단위로 할당해서 더 많은 용량을 쓰게 된다(RSS)
EP22: Latency numbers you should know. Also... | ByteByteGo Newsletter

team-mabub / mabub-study