2021/10/30 - 2021/11/04

[danbi5228]

• 5.3 ~ 6장 전체
• 지난주 스터디 내용 정리: 김유리님
• 이번주 정리: 주선미님
• 중요 내용 정리: 한단비님, 김유리님
• 다음 스터디: 11월 4일 pm 9:00

[givitallugot]

5.3 뉴스 기사 분류 예제

• 기사 제목으로 카테고리 예측 (스포츠, 과학/기술, 세계, 비즈니스)

5.3.2 Vocabulary, Vectorizer, DataLoader

[Vocabulary]

• 시퀀스 데이터에 특수 토큰 사용(UNK, MASK, BEGIN-OF-SEQUENCE, END-OF-SEQUENCE)
• MASK 토큰: 마스킹 역할 수행, 가변길이 시퀀스가 있을 때 손실 계산 (?)
• UNK 토큰: 드물에 등장하는 단어 표현, 테스트에 새로운 단어 등장 시 처리 가능
• BEGIN-OF-SEQUENCE, END-OF-SEQUENCE: 시퀀스 경계에 대한 표현 ? p170 Vectorizer (3.6.3.2) 패턴 의미 (-> chapter 3.6.3 장의 두번째로 등장하는 Vectorizer 참고)

[Vectorizer]

• 최대 시퀀스 길이 사용, 동일한 길이 적용
• 동일한 길이를 만들기 위해 0으로 패딩

5.3.3 NewsClassifier

<사전에 훈련된 임베딩 사용 시>

1. 디스크에 임베딩을 로드
2. 실제 데이터에 있는 단어에 해당하는 임베딩 일부 선택
3. Embedding 층의 가중치 행렬을 2에서 선택한 임베딩으로 지정

(추가) <GloVe 임베딩 방법> https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/04/09/glove/

• 카운트 기반과 예측 기반을 모두 사용하는 방법론
• 목적: "임베딩된 단어벡터 간 유사도 측정을 수월하게 하면서도 말뭉치 전체의 통계 정보를 좀 더 잘 반영해보자”
• Word2Vec: 중심단어로 주변단어를, 주변단어로 중심단어를 예측하는 과정에서 단어를 벡터로 임베딩하는 방법론 => 한계 지적, 유사도를 측정하는 데는 LSA에 비해 좋은 성능, 사용자가 지정한 윈도우(주변 단어 몇개만 볼지) 내에서만 학습/분석이 이뤄짐
• 잠재의미분석(LSA): 특이값분해(SVD)를 실시해 데이터 차원을 효과적으로 축소하는 한편 노이즈 등을 줄여 내재적인 의미를 이끌어내는 방법 => 한계 지적, 전체의 통계적인 정보를 모두 활용하지만, LSA 결과물을 가지고 단어/문서 간 유사도를 측정하기는 어려운 단점
• 이 둘을 보완하기 위해 제안한 방법.

5.3.4 모델 훈련

5.3.5 모델 평가와 예측

6 자연어 처리를 위한 시퀀스 모델링

• MLP, CNN는 시퀀스를 적절하게 모델링하지 못함
• (과거 내용을) 은닉 상태를 이용하여 유지할 수 있는 모델이 필요 => RNN 기반의 모델, End-to-End 모델이 가능해짐
• 즉 시퀀스 표현을 학습

6.1 순환 신경망

[엘만 RNN]

• 현재 은닉 상태 백터 는 현재 입력 벡터와 과거 은닉 상태 벡터로 계산
• (엘만 RNN은) 은닉 벡터가 예측 대상
• 은닉-은닉 가중치와 입력-은닉 가중치가 연속된 타임 스텝에 걸쳐 공유되고, 훈련 과정에서 이러한 가중치가 업데이트
• RNN은 시간에 따라 파라미터를 공유 vs CNN은 공간에 따라 파라미터를 공유

• (추가) 엘만 RNN 설명 https://en.wikipedia.org/wiki/Recurrent_neural_network (구조에 조금 차이..?)

• 시퀀스 모델에서 가변 길이를 다루기 위해 마스킹을 이용 => 최중 출력에 포함될 수 없다면 (길이 때문에?) 이러한 정보를 나타낼 수 있음

6.1.1 엘만 RNN 구현하기

p185 코드 참고

6.2 문자 RNN으로 성씨 국적 분류

6.2.1 ~ 6.2.3 데이터, 분류기

• Dataset, Vectorizer, Vocabulary 구현 단계는 이전과 동일
• 임베딩 시 => 이름에 등장하는 문자를 정수로 매핑(낮은 차원으로 표현), 4개 토큰 추가(UNK, MASK, BEGIN-OF-SEQUENCE, END-OF-SEQUENCE)
  • 파라미터: 임베딩 개수, 클래스 개수
  • 하이퍼파라미터: 임베딩 크기, 은닉 상태 크기 (보통 빨리 훈련되는 작은 값에서 시작해보는 것을 추천)

6.2.4 ~ 6.2.5 훈련, 결과, 요약

• 일반적인 훈련 과정을 거침 => 배치에 모델 적용 후 예측 벡터 계산, 실제값과 비교하여 손실 계산, 그래디언트 계산 후 모델 가중치 업데이트 => 해당 과정 모든 배치에 반복, 평가 시에는 역전파는 사용하지 않고 예측값 계산만 진행