구글 BERT의 정석 스터디
Outline
- 원서 제목: Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT
- 도서 링크
- 목표
- 구글 BERT의 정석 완독
- 챕터 별 연습문제에 어느 정도 스스로 답할 수 있을 정도의 이해
- BERT 기반의 다른 NLP 논문을 읽을 수 있을 정도의 이해
- 방식:
- 주 1회 1챕터를 2명씩 돌아가면서 발제
- 논문을 참고할 수 있는 챕터는 논문 참고
- 발제하지 않는 스터디원들은 해당 분량을 완독
- Chapter 별로 issue 발행하여 궁금하거나 어려운 부분 스터디일에 공유 및 토의
- 기간: 2022.01.12 ~ 2022.03.23(11주)
- 스터디 일시: 매주 수요일 21:00 ~ 22:00(25+25분 발표 + 10분 토의) (스터디원들과의 협의 하에 사전 조정 가능)
- Google Meet Link
Presentation Order
스터디 시작일(220112)을 random seed로 하여 발표 순서를 랜덤으로 배정하였습니다. Code
| Chapter |
발제자 |
| 1. 트랜스포머 입문 |
이은식(fixed) |
| 2. BERT 이해하기 |
남수연, 박상일 |
| 3. BERT 활용하기 |
서희, 이은식 |
| 4-1. BERT의 파생모델 1 ALBERT, RoBERTa |
이은식, 남수연 |
| 4-2. BERT의 파생모델 1 ELECTRA, SpanBERT |
박상일, 서희 |
| 5. BERT의 파생모델 2 지식 증류 기반 |
박상일, 이은식 |
| 6. 텍스트 요약을 위한 BERTSUM 탐색 |
서희, 남수연 |
| 7. 다른 언어에 BERT 적용하기 |
이은식, 박상일 |
| 8. sentence-BERT 및 domain-BERT 살펴보기 |
남수연, 서희 |
| 9. VideoBERT, BART |
박상일, 서희 |
| 10. 한국어 언어 모델 KoBERT, KoGPT2, KoBART |
이은식 |
Repository Structure
# repo 시작 위치를 /로 표기
/summaries # 발제 자료 업로드
/images # 발제 자료 이미지 업로드 (발제 자료에 이미지가 있다면 해당 디렉토리에 업로드해 상대경로로써 이미지 삽입)
/codes # 발제 내용 기반 예시 코드 등 작성 시 해당 디렉토리에 업로드
- 발제 파일 명명 방식:
chapter01_발제자(e.g. eunsiklee.확장자)
- 발제 파일 형식: Markdown, ipynb, pdf 등 자유형식
Contributors
- 남수연(@mori8)
- 박상일(@shyram)
- 서희(@0hee0)
- 이은식(@emphasis10)
그 외의 것들
- 패널티는 따로 정하지 않지만 추후 스터디 운영 상태에 따라 추가될 수 있습니다.