2024/04/04 ~ 2024/04/08

[danbi5228]

2024.04.08 pm 10:30

1 - ~17.2 2 - 17.3 ~ 17.3.1 3 - 17.3.2 ~ 17.3.3

[givitallugot]

17.2 과소완전 선형 오토인코더로 PCA 수행하기

오토인코더가 선형 활성화 함수만 사용하고 비용 함수가 평균제곱오차MSE라면, 이는 결국 주성분 분석(PCA)를 수행하는 것으로 볼 수 있음

• 3D 데이터셋에 PCA를 적용해 2D에 투영하는 선형 오토인코더를 만듬

  
  encoder = keras.models.Sequential([keras.layers.Dense(2, input_shape=[3])])
  decoder = keras.models.Sequential([keras.layers.Dense(3, input_shape=[2])])
  autoencoder = keras.models.Sequential([encoder, decoder])

autoencoder.compile(loss="mse", optimizer=keras.optimizers.SGD(learning_rate=0.1))

history = autoencoder.fit(X_train, X_train, epochs=20) codings = encoder.predict(X_train)

- 오토인코더를 인코더, 디코더 두 개 컴포넌트로 구성. 둘 다 하나의 dense 층을 가진 일반적인 sequential 모델
- 오토인코더의 출력 개수가 입력 개수와 동일 (=3)
- 단순 PCA를 위해서 활성화 함수를 사용하지 않고, 비용함수는 MSE
- 다음처럼 분산이 최대한 많이 보존되도록 데이터를 투영할 최상의 2D 평면을 찾음.
![image](https://github.com/njs03332/ml_study/assets/50584633/0412624f-c278-47da-bdb7-31cd3c6a451d)

[danbi5228]

17.3.2 재구성 시각화

• 오토인코더가 적절히 훈련되었는지 확인하는 한 가지 방법은 입력과 출력을 비교하는 것 (코드: p.680 참고)
• 
  • 재구성된 이미지가 식별 가능하지만 정보를 많이 잃었음
  • 정보를 덜 잃도록 하기 위해 더 오래 훈련 or 인코더/디코더 층을 늘리기 or 코딩의 크기 늘릴 수 있음
  • 대신 너무 강력할 경우 유익한 패턴을 학습하지 못해, 새로운 샘플에서의 결과 품질이 더 떨어질 것

17.3.3 패션 MNIST 데이터 시각화

• 위의 모델로 패션 MNIST 데이터 차원 축소
• 다른 차원 축소 알고리즘만큼 좋은 결과를 주지 못하지만, 오토 인코더로 적절히 차원축소 후 다른 알고리즘을 사용해볼 수도 있음
• e.g. 적층 인코더의 인코더 모델을 이용해 차원을 30으로 줄이고, t-SNE 알고리즘으로 최종 2차원으로 시각화

  
  from sklearn.manifold import TSNE

X_valid_compressed = stacked_encoder.predict(X_valid) tsne = TSNE() X_valid_2D = tsne.fit_transform(X_valid_compressed)

plt.scatter(X_valid_2D[:, 0], X_valid_2d[:, 1], c=y_valid, s=10, cmap="tab10")

![image](https://github.com/njs03332/ml_study/assets/26505830/81530044-9a1c-42e6-aab8-06ffd2c6614b)

[njs03332]

17.3 적층 오토인코더

• 은닉층을 여러 개 갖는 오토인코더
  • 더 복잡한 코딩을 학습할 수 있으나, 너무 강력해지지 않도록 주의해야 함
• 적층 오토인코더의 구조는 전형적으로 가운데 은닉층 (코딩 층)을 기준으로 대칭임

17.3.1 케라스를 사용하여 적층 오토인코더 구현하기

• 패션 MNIST 데이터셋에서 SELU 활성화함수를 사용해 적층 오토인코더 만들기

  stacked_encoder = keras.models.Sequential([
  keras.layers.Flatten(input_shape=[28,28]),
  keras.layers.Dense(100, activation="selu"),
  keras.layers.Dense(30, activate="selu"),
  ])
  stacked_decoder = keras.models.Sequential([
  keras.layers.Dense(100, activation="selu", input_shape=[30]),
  keras.layers.Dense(28*28, activation="sigmoid"),
  keras.layers.Reshape([28,28]),
  ])
  stacked_ae = keras.models.Sequential([stacked_encoder, stacked_decodr])
  stacked_ae.compile(loss="binary_crossentropy",
  optimizer=keras.optimizers.SGD(lr=1.5))
  history = stacked_ae.fit(X_train, X_train, epochs=10, validation_data=(X_valid, X_valid))

• 오토인코더 모델을 인코더와 디코더 두 개의 서브 모델로 나눔

• 인코더는 28x28 픽셀의 흑백 이미지를 받아 각 이미지를 784 크기의 벡터로 표현하기 위해 펼침

  • 이 벡터를 크기가 점점 줄어드는 Dense층 두 개에 통과시킴 (두 층은 모두 SELU 활성화 함수를 사용)
  • 각 입력 이미지에 대해 인코더는 크기가 30인 벡터를 출력

• 디코더는 크기가 30인 코딩을 받음

  • 크기가 점점 커지는 Dense 층 두 개에 통과시킴
  • 최종 벡터를 28x28 배열로 변경하여 디코더의 출력이 인코더의 입력과 동일한 크기가 되도록 만듦

• 적층 오토인코더를 컴파일할 때 평균 제곱 오차 대신 이진 크로스 엔트로피 손실을 사용

  • 재구성 작업을 다중 레이블 이진 분류 문제로 다루는 것
  • 각 픽셀의 강도는 픽셀이 검정일 확률을 나타냄