2024/05/02 ~ 2024/06/14

[danbi5228]

• ~24/06/10 pm10:30~ 24/06/14 pm10:00
  1. 17.9
  2. 17.9.1
  3. 17.9.2

[njs03332]

17.9.1 GAN 훈련의 어려움

• 제로섬 게임 - 생성자와 판별자가 끊임없이 서로 앞서려고 노력함
• 내시 균형: 다른 플레이어가 전략을 수정하지 않을 것이므로 어떤 플레이어도 자신의 전략을 수정하지 않는 상태
  • 훈련이 진행됨에 따라 내시 균형 상태에 다다를 수 있음
  • 내시 균형 상태에서 초기 상태와 역학을 달리하면 다른 균형을 만들 수 있음
  • 내시 균형 하나는 여러 가지 경쟁 전략을 포괄할 수 있음
• GAN은 하나의 내시 균형에만 도달할 수 있는데, 이 균형에 도달할 것이라고 보장하는 것이 어려움
  • 생성자가 완벽하게 실제와 같은 이미지를 만들어내 판별자가 추측밖에 할 수 없을 때
• 모드 붕괴: 생성자의 출력 다양성이 줄어듦
  • 몇 개의 클래스 사이를 오가다가 어떤 클래스에서도 좋은 결과를 만들지 못할 수 있음
  • ex) 신발이 판별자를 속이기 쉬워서 많은 신발 이미지를 만들도록 유도 -> 생성자와 판별자가 모두 다른 이미지를 생성/판별하는 방법을 잊음 -> 셔츠로 옮겨가면 신발에 대해 잊어버림
• 생성자와 판별자가 지속적으로 서로에게 영향을 주어 파라미터 변동이 크고 불안정해질 수 있음
• 위의 문제를 해결하는 논문이 많이 출간됨
  • 새로운 비용 함수 제안, 안정적으로 훈련하거나 모드 붕괴를 피하기 위한 기법 제안
  • 경험 재생 (experience replay): 매 반복에서 생성자가 만든 이미지를 재생 버퍼에 저장, 실제 이미지와 이 버퍼에서 뽑은 가짜 이미지를 더해 판별자를 훈련함
  • 판별자가 생성자의 가장 최근 출력에 과대적합될 가능성을 줄임
  • 미니배치 판별 (mini-batch discrimination): 배치 간에 얼마나 비슷한 이미지가 있는지 측정하여 이 통계를 판별자에게 제공
  • 판별자는 다양성이 부족한 가짜 이미지 배치 전체를 쉽게 거부할 수 있음
  • GAN의 역학은 아직 완벽하게 파악하지 못했으나 활발히 연구 중

[givitallugot]

17.9.2 심층 합성곱 GAN

• 큰 이미지를 위한 합성곱 기반의 GAN 등장
• 안정적인 합성곱 GAN을 구축하기 위해 논문에서 제안한 주요 가이드라인
• 판별자
  • 풀링 층: 스트라이드 합성곱
  • 배치 정규화 사용
  • 완전 연결 은닉층 제거
  • LeakyReLU 활성화 함수를 사용
• 생성자
  • 풀링 층: 전치 합성곱
  • 배치 정규화 사용
  • 완전 연결 은닉층 제거
  • (tanh를 사용해야 하는 출력층을 제외) 모든 층은 ReLU 활성화 함수
• 패션 MNIST에서 잘 동작하는지 확인

  
  tf.random.set_seed(42)
  np.random.seed(42)

codings_size = 100

generator = keras.models.Sequential([ keras.layers.Dense(7 7 128, input_shape=[codings_size]), keras.layers.Reshape([7, 7, 128]), keras.layers.BatchNormalization(), keras.layers.Conv2DTranspose(64, kernel_size=5, strides=2, padding="SAME", activation="selu"), keras.layers.BatchNormalization(), keras.layers.Conv2DTranspose(1, kernel_size=5, strides=2, padding="SAME", activation="tanh"), ]) discriminator = keras.models.Sequential([ keras.layers.Conv2D(64, kernel_size=5, strides=2, padding="SAME", activation=keras.layers.LeakyReLU(0.2), input_shape=[28, 28, 1]), keras.layers.Dropout(0.4), keras.layers.Conv2D(128, kernel_size=5, strides=2, padding="SAME", activation=keras.layers.LeakyReLU(0.2)), keras.layers.Dropout(0.4), keras.layers.Flatten(), keras.layers.Dense(1, activation="sigmoid") ]) gan = keras.models.Sequential([generator, discriminator])

<image width=450 src=https://github.com/njs03332/ml_study/assets/50584633/149d5e97-955f-430e-a161-dc03ac3363a4>

- 이 코드는 훈련 epoch 50 이후에 다음과 같은 이미지를 생성
- 이 구조를 늘려 훈련하면 더욱 실제와 같은 이미지를 얻을 수 있음
- 다음은 대규모 얼골 데이터셋에서 훈련한 결과
<image width=450 src=https://github.com/njs03332/ml_study/assets/50584633/eb9bee79-9fa2-4a6c-8e10-8bbdc44a0a69>

- 세 카테고리의 이미지를 생성하기 위한 코딩을 평균하고, 이 평균 코딩으로 이미지를 생성
- 즉, 왼쪽 아래 3개는, 각각 위의 3개 이미지의 평균을 나타냄
- 이따 평균은, 픽셀 수준의 단순한 평균 계산이 아닌, 잠재 공간에서 계산된 평균
- 따라서 이미지가 자연스러운 얼굴처럼 보일 수 있음

[danbi5228]

17.9 생성적 적대 신경망

• 신경망을 서로 겨루게 하고 경쟁을 통해 신경망을 향상시키는 것을 기대
• 구조
  • 
  • 생성자
  • 랜덤한 분포(일반적으로 가우시안 분포)를 입력으로 받고 이미지와 같은 데이터를 출력
  • 랜덤한 입력은 생성할 이미지의 잠재 표현(코딩)으로 생각할 수 있음
  • 변이형 오토인코더의 디코더와 같은 기능을 제공
  • 판별자
  • 생성자에서 얻은 가짜 이미지나 훈련 세트에서 추출한 진짜 이미지를 입력으로 받아 입력된 이미지가 가짜인지 진짜인지 구분
  • 훈련하는 동안 생성자와 판별자의 목표는 반대
  • 판별자는 진짜 이미지와 가짜 이미지를 구별하는 것이 목표
  • 생성자는 판별자를 속일 만큼 진짜 같은 이미지를 생성
• 반복 훈련 단계
  • 첫 번째: 판별자를 훈련 - 실제 이미지 + 생성자가에서 생성한 가짜 이미지 (1:1) 이용
  • 가짜 이미지의 레이블은 0, 진짜 이미지는 1로 세팅하고, 이진 크로스 엔트로피를 사용해 훈련
  • 이 단계에서 역전파는 판별자의 가중치만 최적화
  • 두 번째: 생성자를 훈련 - 생성자로 다른 가짜 이미지 배치를 만들,고 판별자로 판별 수행 후 진짜 이미지 추가 없이 모두 1로 세팅
  • 판별자의 가중치를 동결
  • 이 단계에서 역전파는 생성자의 가중치에만 영향을 미침
  • (NOTE) 생성자는 실제로 진짜 이미지를 입력으로 받지 않음. 전부 판별자를 통해 전달되는 그레이디언트가 전부.
    • 판별자의 성능이 좋아질수록 그레이디언트에 진짜 이미지의 정보가 많이 담겨서, 점진적으로 진짜라고 믿을만한 가짜 이미지를 만드는 법을 배움
• p.702 ~ 704. 패션 MNIST 데이터셋으로 간단한 GAN 구현코드
• 1 epoch 훈련 이후 GAN이 생성한 이미지
  • 
  • 이보다 더 좋은 이미지는 생성되지 않음
  • 어떤 에포크에서는 GAN이 학습한 것을 잊어버린 것처럼 보일 수도 있음