2024/03/04 ~ 2024/03/17

[givitallugot]

2024/03/17 (일) 10:00

1: 16.4 2: 16.4.1 3: 16.4.2 ~ (위치 인코딩까지)

[givitallugot]

assign roles -s 0304 -c 1 2 3

[njs03332]

	0	1	2
member	주선미	한단비	김유리
chapter	1	2	3

[givitallugot]

assign roles -s 0304 -c 1 2 3

[njs03332]

	0	1	2
member	주선미	한단비	김유리
chapter	1	2	3

[danbi5228]

16.4.1 비주얼 어텐션

• 어텐션 메커니즘으로 NMT(Neural Machine Translation) 이외의 목적으로 사용된 첫 번째 애플리케이션 -> 비주얼 어텐션을 이용한 이미지 캡션 생성
• 로직 순서
  • 합성곱 신경망이 먼저 이미지를 처리하여 일련의 특성 맵을 출력
  • 어텐션 메커니즘을 장착한 디코더 RNN이 한 번에 한 단어씩 캡션을 생성함
  • 디코더 타임 스텝마다(단어 마다) 디코더는 어텐션 모델을 사용해 이미지에서 적절한 부위에 초점을 맞춤
  • 특정 단어를 출력할 때 입력 이미지의 어떤 부분에 초점을 맞추고 있는지 볼 수 있음
  • ex. A woman is throwing a frisbee in a park 캡션 내 디코더가 frisbee 출력시 입력 이미지 내 초점을 맞춘 부분
  • 
• 어텐션 메커니즘의 추가적인 장점 중 하나는 모델이 어떤 출력을 만들도록 이끄는 것이 무엇인지 이해하기 쉽다는 것 -> 설명 가능성
  • 모델을 디버깅하는 용도 뿐만 아니라 법적 요구 사항일 수 있음

[givitallugot]

16.4 어텐션 메커니즘

• RNN의 단기 기억의 제한성에 훨씬 적은 영향을 받음

• 각 타임 스텝에서 적절한 단어에 디코더가 초점을 맞추도록 하는 기술

• 인코더의 마지막 은닉 상태만 디코더에 보내는 것이 아니라 인코더의 모든 출력을 디코더로 전송

• 이 단계에서 주의를 집중할 단어를 결정 -> 그 가중치가 a(t,i): t번째 디코더 타임 스텝에서 i번째 인코더 출력의 가중치

  

• 이러한 a(t,i) 가중치는 정렬모델(어텐션)이라고 부르는 작은 신경망에 의해 생성

• 그림의 오른쪽이 바로 어텐션 모델. TimeDistributed 클래스를 적용한 Dense 층으로 시작

• 이 TimeDistributed 층은 하나의 뉴런으로 구성되고 인코더의 모든 출력을 입력으로 받아 디코더의 이전 은닉 상태 (ex h(2))를 연결

• 그리고 이 TimeDistributed 층은 각 인코더 출력 에 대한 점수를 출력함 (ex e(3,2) 이는 각 출력이 디코더의 은닉 상태와 얼마나 잘 맞는지를 측정

• 마지막으로 모든 점수가 softmax 층을 통과해서 각 인코더 출력에 대한 최종 가중치를 얻음.

• 이런 어텐션을 바흐다나우 어텐션 또는 연결 어텐션이라고 부름

• 루옹 어텐션 또는 곱셈 어텐션도 존재

• 어텐션 메커니즘의 목적은 인코더의 출력 하나와 디코더의 이전 은닉 상태 사이의 유사도를 측정하는 것이므로 두 벡터 사이의 점곱을 제안

• 최근에는 연결 어텐션보다 더 높은 성능이 나오는 점곱을 사용한 어텐션을 많이 사용

[njs03332]

16.4.2 트랜스포머 구조: 어텐션이 필요한 전부다

• 트랜스포머 구조
  • 2017 구글 연구팀, 'Attention is all you need'에서 발표
  • 순환층이나 합성곱 층을 전혀 사용하지 않고 어텐션 메커니즘만 사용해 NMT 문제에서 최고 수준 성능을 크게 향상
  • 빠르게 훈련할 수 있고 병렬화하기 쉬움
  • 이전의 모델에서 최고 성능을 내기 위해 필요한 시간과 비용 일부만으로 훈련할 수 있음

• 왼쪽 부분: 인코더
  • 입력: 단어 ID의 시퀀스로 표현된 문장의 배치
  • 입력 크기: [배치 크기, 입력 문장의 최대 길이]
  • 각 단어를 512차원 표현으로 인코딩
  • 인코더 출력 크기: [배치 크기, 입력 문장의 최대 길이, 512]
  • 인코더의 윗부분은 N번 반복되어 쌓아 올림
• 오른쪽 부분: 디코더
  • 훈련 시 입력: 타깃 문장 (단어 ID의 시퀀스) - 오른쪽으로 한 타임스텝 이동되어 있음
  • N번 반복되어 쌓아올림
  • 인코더의 출력을 받음 (N번의 디코더에 모두 주입)
  • 출력: 가능한 다음 단어에 대한 확률
  • 출력 크기: [배치 크기, 출력 문장의 최대 길이, 어휘 사전 길이]
• 추론 시에는 디코더에 타깃을 주입할 수 없으므로, 이전 타임 스텝에서 출력된 단어를 주입
• 자세한 구조
  • 임베딩 층 두 개, 스킵 연결 5xN개, 정규화층, 밀집층 두개로 구성된 피드 포워드 모듈 2xN개
  • 마지막 출력층은 소프트맥스 활성화 함수 사용하는 밀집층
  • 모든 층은 타임 스텝에 독립적 (time-distributed) -> 각 단어는 다른 모든 단어에 대해 독립적으로 처리됨
  • 한 번에 한 단어씩 보면서 어떻게 문장을 번역할 수 있을까?
  • 인코더의 멀티-헤드 어텐션 층: 관련이 많은 단어에 더 많은 주의를 기울이면서 각 단어와 동일한 문장에 있는 다른 단어의 관계를 인코딩 (=셀프 -어텐션)
  • 디코더의 마스크드 멀티-헤드 어텐션 층: 동일한 작업을 수행하나, 각 단어는 이전에 등장한 단어에만 주의를 기울일 수 ㅣㅇㅆ음
  • 디코더의 위쪽 멀티-헤드 어텐션 층: 입력 문장에 있는 단어에 주의를 기울임
  • 위치 인코딩: 문장에 있는 단어의 위치를 나타내는 단순한 밀집 벡터
    • 멀티-헤드 어텐션 층이 단어 사이 관계만 보고 단어의 순서나 위치를 고려하지 않기 때문에 필요
    • 그 외 다른 층은 전부 타임 스텝에 독립적이므로 각 단어의 상대적/절대적 위치를 알 수 없기 때문

위치 인코딩

• 문장 안에 있는 단어의 위치를 인코딩한 밀집 벡터
• i번째 위치 인코딩이 문장에 있는 i번째 단어의 단어 임베딩에 더해짐
• 논문에서는 여러 가지 주기의 사인과 코사인 함수로 정의한 고정된 위치 인코딩을 선호했음 (662쪽 식)
  • 학습된 단어의 위치 임베딩과 동일ㅇ한 성능을 내면서 임의의 긴 문장으로 확장할 수 있음
• 텐서플로를 이용한 구현
  • 생성자에서 위치 인코딩 행렬을 미리 계산
  • call() 메서드에서 행렬을 입력의 크기로 잘라 입력에 더함

class PositionalEncoding(keras.layers.Layer):

  def __init__(self, max_steps, max_dims, dtype=tf.float32, **kwargs):
    super().__init__()
    if max_dims % 2 == 1: max_dims += 1
    p, i = np.meshgrid(np.arange(max_steps), np.arange(max_dims // 2))
    pos_emb = np.empty((1, max_steps, max_dims))
    pos_emb[0, :, ::2], = np.sin(p / 10000**(2*i/max_dims)).T
    pos_emb[0, :, 1::2] = np.cos(p / 10000**(2*i/max_dims)).T
    self.positional_embedding = tf.constant(pos_emb.astype(self.dtype))
  def call(self, inputs):
    shape = tf.shape(inputs)
    return inputs + self.positional_embedding[:, :shape[-2], :shape[-1]]