2024/03/18 ~ 2024/04/03

[njs03332]

• ~3/21~ 04/03 수요일 22:30
• 1: 16.4 멀티 헤드 어텐션
• 2: 16.5
• 3: 17.1

[njs03332]

assign roles -s 0317 -c 1 2 3

[njs03332]

[danbi5228]

17. 오토인코더와 GAN을 사용한 표현 학습과 생성적 학습

• 오토인코더는 어떤 지도 없이, 잠재표현 또는 코딩이라 부르는 입력 데이터의 밀집 표현을 학습할 수 있는 인공 신경망
  • 일반적으로 입력보다 훨씬 낮은 차원을 가지므로 차원축소, 시각화에 유용하게 사용됨
  • 일부 오토인코더는 훈련 데이터와 매우 비슷한 새로운 데이터를 생성하는, 생성모델로도 적합
• 오토인코더를 얼굴사진으로 훈련시켜도 GAN(generative adversarial networks)를 이용한 이미지 보다는 품질이 떨어짐
  • 오토인코더는 단순히 입력을 출력으로 복사하는 방법을 배움
  • GAN은 생성자와 판별자라는 신경망 두개가 경쟁적으로 훈련됨
  • 생성자: 훈련 데이터와 비슷하게 보이는 데이터를 생성
  • 판별자: 가짜 데이터와 진짜 데이터를 구별

17.1 효율적인 데이터 표현

• 숫자 시퀀스나 체스판 등을 그냥 기억하기 보다는 패턴을 찾아서 기억하는 아이디어를 모델에 적용해서 오토인코더가 입력을 받아 효율적인 내부 표현으로 바꾸고 입력과 가장 가까운 어떤 것을 출력하도록 학습
• 오토인코더는 항상 입력을 내부 표현으로 바꾸는 인코더와 내부 표현을 출력으로 바꾸는 디코더로 구성됨
• 입력을 재구성하므로 출력을 종종 재구성이라고 부르고, 비용 함수는 재구성이 입려고가 다를 때 모델에 벌점을 부과하는 재구성 손실을 포함함
  • 내부의 표현(2차원)이 입력 데이터(3차원)보다 저차원이기 때문에 이런 오토인코더를 과소완전이라고 함

[givitallugot]

16.5 언어 모델 분야의 최근 혁신

• 2018년은 NLP를 위한 이미지넷 시대라고 부를 정도의 놀라운 속도로 발전
• 갈수록 큰 LSTM과 트랜스포머 기반의 모델이 엄청난 데이터셋에서 훈련
• 다음 논문들은 2018년에 한 획을 그은 내용들
  • 매슈 피터스의 ELMo 논문: ELMo는 심층 양방향 언어 모델의 내부 상태에서 학습된 문맥이 반영된 단어 임베딩
  • 알렉 래드퍼드와 OpenAI의 연구자들의 GPT 논문: 비지도 사전훈련의 효과를 보여줌, 트랜스포머와 유사한 구조를 사용하여 좋은 성능 달성
• 구글 연구자들의 BERT 논문에서도 대규모 텍스트 데이터에서 자기 지도 사전훈련의 효과를 보임, 이는 모델이 자연스럽게 양방향성을 가짐, 두 가지 사전훈련 작업을 제안
  • MLM 마스크드 언어 모델: 문장에 있는 각 단어를 15%의 확률로 마스킹. 모델은 마스킹한 단어를 예측하도록 훈련, she fun at the party. 라고 했을 때 had와 birthday를 예측
  • NSP 다음 문장 예측: 두 문장이 연속적인지 아닌지를 예측하도록 모델을 훈련, the dog sleeps와 it snores loudly는 연속적인 문장이라고 예측, 반면 the earth orbits the Sun은 연속성이 없음.
• 2018, 2019의 주요 혁신은
  • 더 나은 부분 단어 토큰화
  • LSTM에서 트랜스포머로 이동
  • 자기 지도 학습을 사용한 사전훈련된 범용 언어 모델
  • 구조적 변경이 적은 세부 튜닝

[njs03332]

16.4.2 트랜스포머 구조: 어텐션이 필요한 전부다

멀티-헤드 어텐션

• scaled dot-product attention 층

  • 인코더가 'They played chess'에서 They는 주어, played는 동사라는 것을 단어의 표현에 인코딩함
  • 디코더가 주어를 번역한 후 동사를 번역해야 한다고 하면, 입력 문장에서 동사를 추출해야 함 -> {주어: They, 동사: played, ...} 딕셔너리 룩업과 비슷함
  • 룩업에 사용할 키 (query)는 딕셔너리에 있는 키와 완벽하게 매칭되지 않기 때문에 (모델은 벡터 표현으로 이 개념을 갖기 때문)
  • 쿼리와 딕셔너리에 있는 각 키 사이의 유사도를 계산하여 소프트맥스 함수를 사용해 유사도 점수 합산하여 1이 되는 가중치로 바꿈
  • 동사를 표현하는 키가 쿼리와 가장 비슷하다면 이 키의 가중치는 1에 가까울 것
  • 모델이 키에 해당하는 값의 가중치 합 계산 -> 동사의 키 가중치가 1에 가까우면 이 가중치 합은 단어 played의 표현에 매우 가깝게 될 것
  • = 미분가능한 딕셔너리 룩업

• 트랜스포머에서는 점곱으로 유사도 측정

  • 

  • Q: 행마다 query 하나를 담은 행렬, 크기=[n_queries, d_keys]

  • K: 행마다 key 하나를 담은 행렬, 크기=[n_keys, d_keys]

  • V: 행마다 value 하나를 담은 행렬, 크기=[n_keys, d_values]

  • QK^T: 쿼리/키 쌍마다 하나의 유사도 점수를 담고 있음, 크기=[n_queries, n_keys]

  • 소프트맥스 함수의 출력도 동일한 크기이지만 모든 행의 합이 1

  • 최종 출력의 크기=[n_queries, d_values]

  • 하나의 행은 하나의 쿼리에 해당

  • 각 행은 쿼리 결과 (값의 가중치 합)을 나타냄

  • 스케일링 인자는 소프트맥스 함수가 포화되어 그레이디언트가 너무 작아지지 않도록 유사도 점수를 낮춤

  • 소프트맥스 함수를 계산하기 전에 유사도 점수에 아주 큰 음수를 더해 일부 키/값 쌍을 제외하도록 마스킹처리할 수 있음. (마스크된 멀티-헤드 어텐션에서 사용하는 방법)

• 인코더에서 이 식이 배치에 있는 모든 입력 문장에 적용됨

• 디코더의 마스킹된 어텐션 층에서 이 식이 배치에 있는 모든 타깃 문장에 적용됨

  • 뒤에 오는 단어를 비교하지 않기 위해 마스킹을 사용

• keras.layers.Attention 층은 배치에 있는 여러 문장에 위 식을 효율적으로 적용하는 스케일드 점-곱 어텐션을 구현함

• 멀티-헤드 어텐션 층 구조

  • 
  • 스케일드 점-곱 어텐션 층의 묶음, 각 층은 값,키,쿼리의 선형 변환이 선행됨
  • 출력은 단순히 모두 연결되어 마지막 선형 변환을 통과
  • 모델이 단어 표현을 여러 부분 공간으로 다양하게 투영할 수 있음 (부분 공간은 단어의 일부 특징에 주목함)
  • 마지막으로 모든 결과를 연결하여 원본 공간으로 다시 투영함