[2023-08-01] Intro to Database Systems 6강 - Memory Management + Buffer Cache

[CoodingPenguin]

📌 개요

• 시간: 2023-08-01(화) 21:00
• 자료: 6강 Memory Management + Buffer Cache
• 참여자: 펭귄, 그루트, 렉사, 나강

✍️ 준비

아래 양식을 복사해 스터디 준비를 완료해주세요!

## 💬 생각

<!--강의를 듣고 생각한 내용을 3줄 내로 간단히 정리해주세요!-->

- ...

## ❓ 질문

<!--공부하면서 궁금한 점을 작성해주세요!-->

- ...

## 📚 참고 자료

<!--공부하면서 같이 공부한 자료를 첨부 및 공유해주세요!-->

- [...](...)

[jonyejin]

💬 생각

• 어떠한 물리적 저장 장치이냐에 따라서 저장 알고리즘도 변동이 클 것같다. HDD기준으로 강의를 진행하고 있지만 SSD로 바뀌는 요즘 트렌드에 따라서 DBMS들도 업데이트 되고 있지 않을까?
• 어떤 file system을 쓰는지 언급해주지 않아서 궁금했다.
• 어쨌든 application이니까 user mode에서 도는거겠지? 마치 kernel mode에서 도는 것 처럼 자유자재로 메모리와 디스크에 접근하는 것 같은 설명이라 헷깔린다…
• OS와 비슷한 기능도 있고 다른 기능도 있다. OS 위에서 돌아가는 만큼 논리적인 개념들만 차용했다고 느꼈다.
• buffer replacement policy는 DB, 테이블 마다 다르게 구현하면 좋지 않을까?(이미 있을것같지만..)

✔️내용 정리

DBMS가 메모리를 관리하고, 입출력 하는 방법

• Spatial Control: 디스크 어디에 쓰지? -> 같이 쓰는 페이지들은 가깝게 저장해준다.
• Temporal Control: 언제 메모리로 읽어오고 언제 디스크에 쓰지?
• OS가 하게 하지 않는다. (그럴 수 있나?)

버퍼 풀

• Lock = DBMS가 데이터를 논리적으로 보호하기 위해 사용
• Latch = DBMS가 데이터를 물리적으로 보호하기 위해 사용. 운영체제의 Lock과 동일
• page directory = 디스크에 있는 페이지들의 주소 맵핑
• page table = 버퍼에 있는 페이지들의 주소 맵핑
• 메모리에서 스레드가 사용하고 있는 페이지는 내리지 않는다. pin count를 사용해서 -> reference counter랑 비슷하게 구현할듯?
• page랑 frame이랑 맵핑도 해준다.

Multiple Buffer Pool

• 해시 함수등을 이용해서 어디 버퍼풀에 페이지가 있는지 맵핑 해준다.

Buffer Replacement Policies

• LRU
• Clock-LRU의 간단한 구현(timestamp 없이!)
  • 페이지를 원형 버퍼에다가 넣고, bool값을 toggle해가며 최근 사용된 적이 없는 페이지를 swap 후보로 삼는다.
• Sequential Flooding에 걸맞지 않는 알고리즘.
• LRU-K: 각 페이지의 K번의 페이지 접근 기록의 간격을 통해서 다음에 해당 페이지가 언제 접근될 지 유추한다.
• Localization
• Priority Hints: 해당 페이지가 얼마나 중요한지 표시한다.
• Dirty Pages: 내용에 변경이 있었다면 반드시 디스크에도 써줘야한다.

❓ 질문

• HDD, SSD의 특성을 비교할 때 HDD는 seek time이 존재하고 SSD는 거의 존재하지 않는건가요?

• SSD는 여러개를 한번에 접근할 수 있지만 HDD는 안되는건가요?

• SSD는 seek time이 0에 가깝다면, 같이 쓰는 페이지들을 굳이 가깝게 저장 안해줘도 되는거 아닌가? 물리적인 특성을 잘 모르겠음

• policy중 Localization: 왜 localization이지?

📚 참고 자료

• [Database] DBA급 개발자로 - #5 Buffer Pools

[Nagunt]

💬 생각

• DBMS가 어떻게 메모리 관리하는지 강의한 듯. 여기부터는 배운 적 없는 내용들이라 그런가 보다 하면서 넘겼다.
  • Dirty Page : 메모리에 올라온 상태에서 변경점이 일어나 디스크에 변경점을 적용해야 하는 page의 경우, 이를 dirty page라고 한다.
  • Buffer Pool : 메모리는 고정된 크기의 page를 가져올 수 있는 공간을 가지고 있고, 이를 frame이라고 한다. DBMS은 여러개의 buffer pool를 가질 수 있다. 이를 통해 pool 마다 다른 page size, 다른 policy 등을 가질 수 있게 된다.
  • Prefetch와 Scan Sharing : I/O를 줄이려는 최적화 기법
• Buffer Repliacement Policy : 언제 어떻게 buffer pool에서 page를 제거할 것인가?
  • LRU, CLOCK, LRU-K 등등....

❓ 질문

• Lock 과 Latches에 대해서 설명할 때 Latches는 operation duration에 의해 발생한다? 라고 하는데 이게 무슨 뜻일까요? transaction duration은 트랜잭션과 관련있는 것 같긴 한데 용어 의미를 잘 모르겠음..

  • operation : 연산 (operator : 연산자) mutex랑 같은 개념? 하나의 연산에만 작용하는 것이 Latches, 그러므로 held for operation duration 이라고 표현하였음

• 메모리를 여러 개의 buffer pool로 분할하면 latch contention을 줄일 수 있다는데 이게 무슨 뜻일까요? 강의 내에서도 질의응답을 한 내용이었는데 이해를 못했음. 오히려 여러 개의 buffer pool로 분할할 수록 latch contention이 증가하지 않을까? (여러 개로 분할되게 되니까...) latch contention은 multi-thread로 인해 발생하는 문제라서 관련없는 것 같기도 하고..?

  • latch contention은 연산에 의한 fight, 따라서 여러 개로 분할 되면 그만큼 연산을 여러 지점에서 수행하게 되므로 따라서 latch contention이 감소하게 될 것이다..?

📚 참고 자료

• Dirty Page에 대해서
• Locality에 대해서
• 강의 정리

[IamGroooooot]

💬 생각

Buffer pool manager에 관한 내용은 시스템 프로그래밍, OS 등에서 나오는 되게 친숙한 내용이 많았다. DB에서와 OS에서의 용어와 관점을 설명해줘서 도움이 되었다.

[CoodingPenguin]

💬 생각

• 사실 다 못 봤습니다..😭 다만, 최신 강의 말고 2021년도 강의를 들었는데 이해하기 훨씬 수월했습니다.
• 이제 6강인데, 이제야 데이터가 저장되는 방식을 이해했습니다. (메모리와 디스크 사이를 왔다갔다한다는 것을 말이죠.)
• sequential access가 random access보다 좋다는 것을 예전에 풀었던 국어 비문학 지문을 통해 이해했습니다.