2023/11/02 ~ 2023/11/09

[njs03332]

• 1: 15.4.1
• 2: 15.4.2 ~ 핍홀 연결
• 3: 15.4.2 - GRU 셀~WAVENET
• 11/9 목요일 22:30

[njs03332]

assign roles -s 1102 -c 1 2 3

[njs03332]

	0	1	2
member	김유리	주선미	한단비
chapter	1	2	3

[givitallugot]

15.4.2 단기 기억 문제 해결하기

• RNN을 거치면서 데이터가 변환되므로 일부 정보는 매 훈련 스텝 후 사라짐
• 장기 메모리를 위한 셀 들이 개발됨

LSTM 셀

• LSTM(long short-term memory)는 기본 셀보다 성능이 훨씬 좋음. 훈련이 빠르게 수렴하고 데이터에 있는 장기간의 의존성을 감지할 것
• 케라스에서는 SimpleRNN 층 대신 LSTM 층을 사용하게 됨

  model = keras.models.Sequential([
  keras.layers.LSTM(20, return_sequences=True, input_shape=[None, 1]),
  keras.layers.LSTM(20, return_sequences=True),
  keras.layers.TimeDistributed(keras.layers.Dense(10))
  ])

• LSTM 층이 GPU에서 실행할 때 최적화된 구현을 사용
• 박스 안을 들여다보지 않는다면 LSTM 셀은 상태가 두 개의 벡터 h(t) short-term state와 c(t) long-term state로 나뉜다는 것 빼고는 정확히 일반 셀처럼 보임
• h(t)를 단기 상태, c(t)를 장기 상태라고 생각할 수 있음
• 핵심 아이디어는 네트워크가 1. 장기 상태에 저장할 것, 2. 버릴 것, 3. 읽어들일 것을 학습
• 장기기억 c(t-1)은 네트워크를 왼쪽에서 오른쪽으로 관통하면서, 삭제 게이트를 지나 일부 기억을 잃고, 그런 다음 덧셈 연산으로 새로운 기억 일부(입력 게이트에서 선택한 기억)를 추가 => 타임 스텝마다 일부 기억이 삭제되고 일부 기억이 추가됨
• 다음으로, 현재 입력 벡터 x(t)와 이전의 단기 상태 h(t-1)는 네 개의 다른 완전 연결 층에 주입
• g(t)는 이전의 (단기) 상태 h(t-1)을 분석하는 일반적인 역할을 담당
• 삭제 게이트 f(t)는 장기 상태의 어느 부분이 삭제되어야 하는지 제어
• 입력 게이트 i(t)는 g(t)의 어느 부분이 장기 상태에 더해져야 하는지 제어
• 출력 게이트 o(t)는 장기 상태의 어느 부분을 읽어서 이 타임 스텝의 h(t)와 y(t)로 출력해야 하는지 제어

핍홀 연결

• LSTM에서 게이트 제어기 (삭제, 입력, 출력)은 입력 x(t)와 단기 상태 h(t-1)만 바라볼 수 있음
• 게이트 제어기에 장기 상태도 조금 노출시켜 좀 더 많은 문맥을 감지하게 만들기 위해 핍홀 연결 제안
• 이전 장기 기억 상태 c(t-1)이 삭제 게이트와 입력 게이트의 제어기 f(t)와 i(t)에 입력으로 추가
• 현재 장기 기억 상태 c(t)는 출력 게이트의 제어기 o(t)에 입력으로 추가
• 케라스에서는 LSTM이 핍홀을 지원하지 않는 keras.layers.LSTMCell 셀 기반으로 함, 대신 실험적인 tf.keras.experimental.PeepholeLSTMCell 층이 존재

[danbi5228]

GRU 셀

• GRU셀: Gated Current Unit 게이트 순환 유닛 셀
• 
• LSTM셀의 간소화된 버전
  • 두 상태 벡터가 하나의 벡터 h(t)로 합쳐짐
  • 하나의 게이트 제어기 z(t)가 삭제 게이트와 입력 게이트를 모두 제어
  • 게이트 제어기가 1을 출력하면 삭제 게이트가 열리고 (=1) 입력 게이트가 닫힘 (1-1=0)
  • 출력 게이트 없이, 전체 상태 벡터가 매 타임 스텝마다 출력됨
  • 이전 상태의 어느 부분이 주 층(g(t))에 노출될지 제어하는 새로운 게이트 제어기 r(t)가 있음
• keras.layers.GRUCell 셀을 기반으로한 keras.layers.GRU 층을 제공함
• 100 타입 스텝 이상의 시퀀스에서 장기 패턴을 학습하는 데 어려움이 있음 -> 해결 방법 중 하나는 1D 합성곱 층을 사용해 입력 시퀀스를 짧게 줄이는 것

1D 합성곱 층을 사용해 시퀀스 처리하기

model = keras.models.Sequential([
    keras.layers.Conv1D(filters=20, kernel_size=4, strides=2, padding="valid", input_shape=[None, 1]),
    keras.layers.GRU(20, return_sequences=True),
    keras.layers.GRU(20, return_sequences=True),
    keras.layers.TimeDistributed(keras.layers.Dense(10))
])

model.compile(loss="mse", optimizer="adam", metrics=[last_time_step_mse])
history=model.filt(X_train, Y_train[:, 3::2], epochs=20, validation_data=(X_valid, Y_valid[:, 3::2]))

• valid 패딩 + 1보다 큰 스트라이드를 사용해서 출력 시퀀스는 입력 시퀀스보다 짧게 나오도록 함
• 커널 크기를 스트라이드보다 크게 설정해서 모든 입력을 사용해서 층의 출력을 계산하도록 함
  • 모델이 중요하지 않은 세부 사항은 버리고 유용한 정보를 보존하도록 학습
• 합성곱 층으로 시퀀스 길이를 줄이면 더 긴 패턴을 감지하는데 도움이 됨
• 커널 크기4 이므로 합성곱 층의 첫 출력은 0에서 3까지 타임스텝으로 만들어짐. 따라서 처음 세 개의 타임 스텝을 버리고 두 배로 다운 샘플링
• 훈련하고 평가하면 현재까지 확인한 모델 중 가장 좋은 성능을 보임을 확인할 수 있음

WAVENET

• 
• 구조 소개
  • 네트워크 층마다 (각 뉴런의 입력이 떨어져 있는 간격인) 팽창 비율을 두 배로 늘리는 1D 합성곱 층을 쌓음
  • 첫 번째 합성곱 층이 한 번에 2개의 타임 스텝만 바라봄
  • 다음 층은 4개의 타임스텝을 보고 (즉 수용장 길이가 4개의 타임 스템이 됨) 다음은 8개 타임 스텝을 바라보는 식
  • 이런 식으로 하위 층은 단기 패턴을 학습하고 상위 층은 장기 패턴을 학습
  • 팽창 비율을 두 배로 늘린 덕분에 네트워크는 아주 긴 시퀀스를 매우 효율적으로 처리할 수 있음
• 논문에서는 팽창 비율이 각각 1, 2, 4, 8,,, 256, 512인 합성곱 층 10개 쌓고 동일한 층 10개를 따로 그룹지어 쌓음
  • 이런 팽창 비율을 가진 합성곱 층 10개가 1024 크기의 커널 한 개로 이루어진 매우 효율적인 합성 층처럼 작동함
  • --> 더 적은 파라미터를 사용하고 더 빠르고 강력함
• 간단한 구현

  model = keras.models.Sequential()
  model.add(keras.layers.InputLayer(input_shape=[None, 1]))
  for rate in (1, 2, 4, 8)*2:
  model.add(keras.layers.Conv1D(filters=20, kernel_size=2, padding="causal", activation="relu", dilation_rate=rate))
  model.add(keras.layers.Conv1D(filters=10, kernel_size=1))
  model.compile(loss="mse", optimizer="adam", metrics=[last_time_step_mse])
  history=model.filt(X_train, Y_train, epochs=20, validation_data=(X_valid, Y_valid))

• 텍스트 투 스피치 작업을 포함하여 여러 오디오 문제에서 좋은 성능을 보임

[njs03332]

15.4 긴 시퀀스 다루기

• 긴 시퀀스로 RNN을 훈련하려면 많은 타임 스텝에 걸쳐 실행해야 하므로, RNN이 매우 깊은 네트워크가 됨
  • 그레이디언트 소실/폭주 문제가 생길 수 있음
  • 훈련 시간이 너무 오래 걸리거나 불안정할 수 있음
  • 입력의 첫 부분을 조금씩 잊어버릴 수 있음

15.4.1 불안정한 그레이디언트 문제와 싸우기

• 심층 신경망에 사용했던 기법 (좋은 가중치 초기화, 빠른 옵티마이저, 드롭아웃)을 사용할 수 있음
• 수렴하지 않는 활성화 함수는 RNN을 더 불안정하게 만들 수 있음
  • 동일한 가중치가 모든 타임 스텝에서 사용되기 때문에 출력이 갈수록 폭주함
  • 수렴하는 활성화 함수를 사용하면 해결 (ex: 하이퍼볼릭 탄젠트 함수)
  • 같은 방식으로 그레이디언트 자체도 폭주할 수 있음
  • 훈련이 불안정하다면 그레이디언트 크기를 모니터링하고 그레이디언트 클리핑을 사용하는 것이 좋음
• 배치 정규화 - 타임 스텝 사이에 사용할 수 없고 순환 층 사이에만 가능
  • 메모리 셀에 배치 정규화 층을 추가하여 타임 스텝마다 적용할 수 있음
  • 은닉 상태가 아니라 입력에 적용했을 때 조금 도움이 됨
• 층 정규화 - RNN에서 잘 맞는 정규화 방식
  • 배치 차원 대신 특성 차원에 대해 정규화
  • 샘플에 독립적으로 타임 스텝마다 동적으로 필요한 토계를 계산할 수 있음 -> 훈련과 테스트에서 동일한 방식으로 작동
  • RNN에서 층 정규화는 일반적으로 입력과 은닉 상태의 선형 조합 직후에 사용됨
• tf.keras를 사용해 간단한 메모리 셀 안에 층 정규화 구현
  • 사용자 정의 메모리 셀
  • call() 메서드가 두 개의 매개변수를 받음 - 현재 타임 스텝의 inputs, 이전 타임 스텝의 은닉 states

class LNSimpleRNNCell(keras.layers.Layer):
    def __init__(self, units, activation="tanh", **kwargs):
        super().__init__(**kwargs)
        self.state_size = units
        self.output_size = units
        self.simple_rnn_cell = keras.layers.SimpleRNNCell(units, activation=None)
        self.layer_norm = keras.layers.LayerNormalization()
        self.activation = keras.activations.get(activation)
    def call(self, inputs, states):
        outputs, new_states = self.simple_rnn_cell(inputs, states)
        norm_outputs = self.activation(self.layer_norm(outputs))
        return norm_outputs, [norm_outputs]

• call() 메서드는 먼저 간단한 RNN셀을 적용하여 현재 입력과 이전 은닉 상태의 선형 조합을 계산,
  • 그 후 층 정규화 & 활성화 함수를 차례로 적용
• 이 사용자 정의 셀을 사용하려면 keras.layers.RNN 층을 만들어 이 셀의 객체를 전달하면 됨

model = keras.models.Sequential([
    keras.layers.RNN(LNSimpleRNNCell(20), return_sequences=True, input_shape=[None, 1]),
    keras.layers.RNN(LNSimpleRNNCell(20), return_sequences=True),
    keras.layers.TimeDistributed(keras.layers.Dense(10))
])

• 비슷하게 타임 스텝 사이에 드롭아웃을 적용하는 사용자 정의 셀을 만들 수 있음
  • 모든 순환 층과 케라스에서 제공하는 모든 셀에 적용할 수 있는 dropout, recurrent_dropout 매개변수를 이용하면 더 간단함