2021/11/4 - 2021/11/12

[njs03332]

• 7장, 8장 8.1까지

• 내용 정리: 김유리

• 이번주 wiki 정리: 한단비

• 보충 정리/복습 문제 만들기: 주선미, 한단비

• 다음주 스터디: 금요일 오후 9시

[danbi5228]

복습문제

• chapter 1
  • tf vs tf-idf 차이
  • pytorch 의 Tensor 란?
• chapter 2
  • 표제어 란? 표제어 추출의 의미는?
• chapter 3
  • 퍼셉트론 이란?
  • 렐루 활성화 함수 공식은? 장점은?

[njs03332]

7장. 자연어 처리를 위한 시퀀스 모델링

• 시퀀스 예측 (sequence prediction)
  • 시퀀스의 각 항목에 레이블을 할당
  • NLP에서의 예시: 자연어 모델링, 품사 태깅, 개체명 인식 등
• 엘만 RNN을 이용하면 멀리 떨어진 의존성을 잘 감지하지 못하기 때문에 시퀀스 예측 작업에 적합하지 않음
• 따라서 이 장에서는 게이트 네트워크 (gated network)라는 새로운 RNN 구조를 다룸

7.1 엘만 RNN의 문제점

• 1) 멀리 떨어진 정보를 유지하기 어렵다
  • 은닉 상태에 어떤 값을 유지하고 어떤 값을 버릴지가 순전히 입력에 따라 결정됨
• 2) 그레이디언트가 통제되지 않고 0이나 무한대를 만드는 경향이 있다
  • 그레이디언트 소실, 그레이디언트 폭주 - 통제할 수 없는 불안정한 그레이디언트
  • 최적화 과정을 불안정하게 함
  • 엘만 RNN에서 이러한 그레이디언트 문제를 다루는 방법: 렐루(ReLu) 함수 사용, 그레이디언트 클리핑, 적절한 가중치 초기화
• 이러한 방법보다 게이팅이 더 안정적으로 동작함

7.2 엘만 RNN의 문제 해결책: 게이팅

• 예시: a와 b를 더할 때 b가 더해지는 양을 조절 (a + λb, 0 ≤ λ ≤ 1)
  • λ: 스위치/게이트 의 역할
• 엘만 RNN에 게이팅 적용
  • 엘만 RNN의 기존 업데이트 식
  • ht = h(t-1) + F(h_(t-1), x_t)
  • h_(t-1): 이전 타임스텝의 은닉 상태, x_t: 현재 입력, F: RNN의 순환계산
  • 게이팅 적용
  • ht = h(t-1) + λ(h_(t-1), x_t) * F(h_(t-1), x_t)
  • λ가 h_(t-1)과 x_t의 함수. 보통 시그모이드 함수 이용 (0과 1 사이의 값을 출력)
  • LSTM 신경망
  • 이전 은닉 상태 h_(t-1)의 값을 의도적으로 지움
  • ht = **μ(h(t-1), xt)* h(t-1) + λ(h_(t-1), xt) * F(h(t-1), x_t)
  • μ도 게이팅 함수
  • 실제 LSTM에서는 게이팅 함수가 학습되므로 식이 더 복잡함 참고
  • LSTM 외에도 다양한 게이팅 RNN이 있음 (e.g. gated recurrent unit (GRU))
• 게이팅 메커니즘은 엘만 RNN의 문제점에 대한 효과적인 해결책

7.3 예제: 문자 RNN으로 성씨 생성하기

• RNN으로 성씨 생성하는 시퀀스 예측 작업
  • 각 타임스텝에서 RNN이 성씨에 포함될 수 있는 문자 집합에 대한 확률 분포를 계산함
  • 이 확률 분포를 사용해 신경망을 최적화하여 예측을 향상시키거나 새로운 성씨를 생성할 수 있음

7.3.1 SurnameDataset 클래스

• 성씨 데이터셋을 이용해 문자 시퀀스에 확률을 할당하고 새로운 시퀀스를 생성하는 모델을 훈련

7.3.2 벡터 변환 클래스

7.3.4 모델 1: 조건이 없는 SurnameGenerationModel

• 성씨를 생성하기 전에 국적 정보를 사용하지 않음
• GRU가 어떤 국적에도 편향된 계산을 수행하지 않음
• 초기 은닉 상태 벡터가 계산에 영향을 미치지 않도록 모두 0으로 초기화함

7.3.5 모델 2: 조건이 있는 SurnameGenerationModel

• 성씨를 생성할 때 국적을 고려함
• 모델이 특정 성씨에 상대적으로 편향될 수 있는 메커니즘이 있음
• 은닉 상태 크기의 벡터로 국적을 임베딩하여 RNN의 초기 은닉 상태를 생성
• 모델 파라미터가 수정될 때 임베딩 행렬의 값도 조정됨
• 성씨의 국적과 규칙에 더 민감하게 예측하게 됨

7.4 시퀀스 모델 휸련 노하우

• 시퀀스 모델은 훈련 과정에서 많은 이슈가 발생할 수 있음
• 이에 대한 몇 가지 노하우 소개
  • 가능하면 게이트가 있는 셀을 사용
  • 가능하면 LSTM보다 GRU를 사용
  • GRU는 LSTM과 거의 비슷한 성능을 제공하면서 파라미터가 훨씬 적고 계산 자원도 덜 사용
  • Adam 옵티마이저를 사용
  • 안정적이고 다른 옵티마이저보다 빠르게 수렴
  • 수렴하지 않는다면 확률적 경사 하강법 옵티마이저로 바꾸기
  • 그레이디언트 클리핑을 사용
  • 수치상의 문제가 있는 경우 훈련 과정의 그레이디언트 값을 그래프로 출력하여 범위를 가늠한 후에 이상치를 클리핑 (???)
  • 훈련 과정을 안정시킬 수 있음
  • pytorch clip_grad_norm() 함수
  • 조기 종료를 사용
  • 시퀀스 모델은 과대적합되기 쉬우므로, 검증 세트에서 측정한 오차가 상승하기 시작하면 훈련 과정을 조기 종료하는 것이 좋음

8장. 자연어 처리를 위한 시퀀스 모델링 - 고급

• 이 장에서는 시퀀스 모델링 개념을 시퀀스-투-시퀀스 모델링 (S2S)으로 확장
  • 시퀀스를 입력받아 다른 시퀀스를출력
  • 입력과 출력 시퀀스는 길이가 다를 수 있음
  • 활용 범위: 이메일 답장 만들기, 프랑스어 문장을 영어로 번역하기, 기사 요약하기
• 시퀀스 표현을 최대로 활용하기 위해 어텐션 메커니즘 소개
• 신경망 기계 번역 (NMT) 구현 과정

8.1 시퀀스-투-시퀀스 모델, 인코더-디코더 모델, 조건부 생성

• S2S 모델은 인코더-디코더 모델의 일종
  • 인코더, 디코더 모델로 구성
  • 인코더 모델: 입력을 받아 인코딩 또는 표현을 생성
  • 입력에서 현재 문제와 관련된 중요한 성질 감지
  • 디코더 모델
  • 인코딩된 입력을 받아 원하는 출력을 생성
  • S2S 모델에서 인코더와 디코더는 시퀀스 모델, 입력과 출력은 모두 시퀀스
• 인코더-디코더 모델은 조건부 생성 모델 (conditioned generation model)의 일종
  • 입력 표현 대신 일반적인 조건 문맥 c를 사용해 디코더가 출력을 생성
  • 조건 문맥 c가 인코더 모델에서 입력되는 경우, 이 모델은 인코더-디코더 모델
• S2S 모델
  • 정렬 (alignment): 입력과 출력 사이의 매핑
  • 예시: 전체 입력을 하나의 표현으로 인코딩하는 인코더
  • 이 표현은 올바른 출력을 생성하도록 디코더의 조건을 형성
  • 모든 RNN을 인코더로 사용할 수 있음

[givitallugot]

복습문제

Chapter 4

• CNN에서 채널이란? 커널이란?
• CNN에서 풀링이란?

Chapter 5

• 임베딩이 효율적인 이유?
• 임베딩의 종류?