2024/01/05 ~ 2024/02/28

[njs03332]

• 2/28 수요일 22:00
• 1: 16.3
• 2: 16.3.1
• 3: 16.3.2

[njs03332]

assign roles -s 0104 -c 1 2 3

[njs03332]

	0	1	2
member	주선미	한단비	김유리
chapter	1	2	3

[njs03332]

16.3.2 빔 검색

• 인코더-디코더 모델은 실수가 있더라도 뒤로 고칠 수 없음
  • 스텝마다 무조건 가장 가능성 있는 단어를 출력해서는 최적의 번역을 만들지 못함
• 빔 검색: 앞선 실수를 고칠 수 있게 하는 방법
  • k (=빔 너비) 개의 가능성 있는 문장의 리스트를 유지하고 디코더 단계마다 이 문장의 단어를 하나씩 생성하여 k개의 문장을 만듦
  • 예) 프랑스어 'Comment vas-tu?'를 번역
  • 첫 번째 디코더 스텝에서 모든 단어에 대한 추정 확률 출력
    • How (75%), What (3%), You (1%)
  • 세 개의 모델로 복사하여 각 문장의 다음 단어를 찾기 위해 어휘 사전 (10,000개) 에 있는 단어의 추정 확률 출력 (앞의 단어로 시작하는 문장이 주어졌을 때의 조건부 확률)
    • How 다음 단어로 will (36%), are (32%), do (16%)
  • 두 개의 단어로 이루어진 30,000개의 문장들에 대한 확률 계산하여 최상위 3개를 추림 (완성된 문장의 추정된 확률 x 각 단어의 추정된 조건부 확률)
    • How (36%) x will (36%) = 27%
  • 동일한 과정을 반복
• 구현 (텐서플로 애드온)

beam_width = 10
# 모든 (10개) 디코더 셀을 감싼 BeamSearchDecoder를 만듦
decoder = tfa.seq2seq.beam_search_decoder.BeamSearchDecoder(cell=decoder_cell, beam_width=beam_width, output_layer=output_layer)
# 각 디코더를 위해 인코더의 마지막 상태를 복사
decoder_initial_state = tfa.seq2seq.beam_search_decoder.tile_batch(encoder_state, multiplier=beam_width)
# 시작과 종료 토큰과 함께 이 상태를 디코더에게 전달
outputs, _, _ = decoder(embedding_decoder, start_tokens=start_tokens, end_token=end_token, initial_state=decoder_initial_state)

• 이 방법은 긴 문장에서는 성능이 나빠짐 - RNN의 제한된 단기 기억 때문

[givitallugot]

16.3 신경망 기계 번역을 위한 인코더-디코더 네트워크

• sequence to sequence

• 영어 문장을 인코더로 주입하면 디코더는 프랑스어 번역을 출력

• 영어 문장은 인코더로 주입되기 전에 거꾸로 뒤집힘

  • 'I drink milk'는 뒤집혀 'milk drink I'가 됨
  • 즉, 영어 문장의 시작 부분을 인코더의 마지막으로 주입

• 단어는 초기에 1차원으로 표현, 그 다음으로 단어 임베딩이 반환됨

• 그리고 이 단어 임베딩이 인코더와 디코더로 주입됨

  

• 각 단계마다 디코더는 출력 어휘 사전(즉 프랑스어)에 있는 단어에 대한 점수를 출력

• 그리고 소프트맥스 층이 이 점수를 확률로 바꿈

  • Je는 20%의 확률을 갖고 Tu는 1%의 확률을 갖는 식 -> 가장 높은 확률의 단어가 출력됨

기본적인 인코더-디코더 모델을 만드는 코드

import tensorflow_addons as tfa

encoder_inputs = keras.layers.Input(shape=[None], dtype=np.int32)
decoder_inputs = keras.layers.Input(shape=[None], dtype=np.int32)
sequence_lengths = keras.layers.Input(shape=[], dtype=np.int32)

embeddings = keras.layers.Embedding(vocab_size, embed_size)
encoder_embeddings = embeddings(encoder_inputs)
decoder_embeddings = embeddings(decoder_inputs)

encoder = keras.layers.LSTM(512, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_embeddings)
encoder_state = [state_h, state_c]

sampler = tfa.seq2seq.sampler.TrainingSampler()

decoder_cell = keras.layers.LSTMCell(512)
output_layer = keras.layers.Dense(vocab_size)
decoder = tfa.seq2seq.basic_decoder.BasicDecoder(decoder_cell, sampler,
                                                 output_layer=output_layer)
final_outputs, final_state, final_sequence_lengths = decoder(
    decoder_embeddings, initial_state=encoder_state,
    sequence_length=sequence_lengths)
Y_proba = tf.nn.softmax(final_outputs.rnn_output)

model = keras.models.Model(
    inputs=[encoder_inputs, decoder_inputs, sequence_lengths],
    outputs=[Y_proba])

• LSTM 층을 만들 때 최종 은닉 상태를 디코더로 보내기 위해 return_state=True로 지정함
• TrainingSampler는 각 스텝에서 디코더에게 이전 스텝의 출력이 무엇인지 알려줌

[danbi5228]

16.3.1 양방향 RNN

• 각 타임 스텝에서 일반적인 순환 층은 과거와 현재의 입력만 보고 출력을 생성함
• 이런 종류의 RNN은 시계열 예측에는 적합하지만 기계 번역 같은 여러 종류의 NLP 작업에는 맞지 않음
• ex. the Queen of the United Kingdom, the queen of hearts, the queen bee
  • queen을 올바르게 인코딩하려면 위 구 단어들을 알아야 함
• 동일한 입력에 대해 두 개의 순환 층(왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로)을 실행하고, 타임 스텝마다 이 두 출력을 연결 (일반적으로) ==> 양방향 순환 층
• keras.layers.Bidirectional 으로 순환층을 감싸서 구현 가능
  • keras.layers.Bidirectional(keras.layers.GRU(10, return_sequences=True))
  • GRU층을 반대 방향으로 복사한 뒤 두 층을 실행하여 그 출력을 연결함
  • 10개의 유닛을 가지면 Bidrectional 층은 타임스텝마다 20개의 값을 출력함