17.3.5 가중치 묶기

적층 오토인코더를 훈련하기 위한 몇 가지 기술 중 하나
오토인코더가 완벽하게 대칭일 때 디코더의 가중치와 인코더의 가중치를 묶는 것이 일반적인 방법
모델에 있는 가중치의 수를 절반으로 줄여서 훈련 속도를 높이고 과대적합 위험을 줄임
인코더 가중치의 Transpose (전치) 된 상태가 디코더의 가중치

Transpose (전치) 가중치를 사용하는 Dense 층을 만듦

class DenseTranspose(keras.layers.Layer):
def __init__(self, dense, activation=None, **kwargs):
    self.dense = dense
    self.activation = keras.activations.get(activation)
    super().__init__(**kwargs)
def build(self, batch_input_shape):
    self.biases = self.add_weight(name="bias",
                                  shape=[self.dense.input_shape[-1]],
                                  initializer="zeros")
    super().build(batch_input_shape)
def call(self, inputs):
    z = tf.matmul(inputs, self.dense.weights[0], transpose_b=True) # ********
    return self.activation(z + self.biases)

그리고 이 층을 사용하여 새로운 적층 오코인코더를 만듦.

이 디코더의 Dense 층은 인코더의 Dense 층과 묶여있음


keras.backend.clear_session()
tf.random.set_seed(42)
np.random.seed(42)

dense_1 = keras.layers.Dense(100, activation="selu") dense_2 = keras.layers.Dense(30, activation="selu")

tied_encoder = keras.models.Sequential([ keras.layers.Flatten(input_shape=[28, 28]), dense_1, dense_2 ])

tied_decoder = keras.models.Sequential([ DenseTranspose(dense_2, activation="selu"), DenseTranspose(dense_1, activation="sigmoid"), keras.layers.Reshape([28, 28]) ])

tied_ae = keras.models.Sequential([tied_encoder, tied_decoder])

tied_ae.compile(loss="binary_crossentropy", optimizer=keras.optimizers.SGD(learning_rate=1.5), metrics=[rounded_accuracy]) history = tied_ae.fit(X_train, X_train, epochs=10, validation_data=(X_valid, X_valid))

njs03332 commented 4 months ago

17.3.4 적층 오토인코더를 사용한 비지도 사전훈련

레이블된 훈련 데이터가 많지 않은 복잡한 지도 학습 문제에서는 비슷한 문제를 학습한 신경망의 하위층을 재사용할 수 있음
- 저수준의 특성을 학습할 필요가 없어, 적은 훈련 데이터로 고성능 모델 훈련 가은
오토인코더에 적용
- 대부분 레이블되지 않은 대량의 데이터셋이 있는 경우 전체 데이터를 사용해 적층 오토인코더를 훈련
- 이후 오토인코더의 하위층을 재사용해 실제 문제를 해결하기 위한 신경망을 만들고 레이블된 데이터를 사용해 훈련
- 분류기를 훈련할 때 레이블된 훈련 데이터가 많지 않으면 사전훈련된 층을 동결하는 것이 좋음

danbi5228 commented 4 months ago

17.3.6 한 번에 오토인코더 한 개씩 훈련하기

앞서 만들었던 것처럼 한 번에 전체 오토인코더를 훈련하는 것이 아니라, 오토인코더 하나를 훈련하고 이를 쌓아올려서 한 개의 적층 오토인코더를 만들 수 있음
- 요즘 많이 사용하는 방식은 아님.
- 가끔 '탐욕적 방식의 층별 훈련 greedy layerise training'에 관해 이야기하는 논문에 등장
- step 1. 첫 번째 인코더는 입력을 재구성하도록 학습
- step 2. 첫 번째 인코더로 전체 훈련 세트를 인코딩해서 새 훈련세트를 만들고, 이를 두 번째 오토인코더의 학습세트로 사용
- step 3. 모든 오토인코더를 사용해 전체 네트워크 구성 - 각 오토인코더의 은닉층을 먼저 쌓고, 그 다음 출력층을 쌓음
- --> 최종 적층 오토인코더 만들기
오토인코더는 밀집 네트워크에 국한되지 않고, 합성곱 오토인코더나 순환 오토인코더도 만들 수 있음

njs03332 / ml_study

2024/04/08 ~ 2024/04/15 #83

17.3.5 가중치 묶기

17.3.4 적층 오토인코더를 사용한 비지도 사전훈련

17.3.6 한 번에 오토인코더 한 개씩 훈련하기