2024/06/14 ~ 2024/06/27

[givitallugot]

~6/19 수요일~ 6/27 목요일 pm 10시 30분

1: 17.9.3 2: 17.9.4 3: ~18.1

[givitallugot]

17.9.3 ProGAN

• 훈련 초기에 작은 이미지를 생성하고 점진적으로 생성자와 판별자에 합성곱 층을 추가해 갈수록 큰 이미지를 만드는 방법

• 이는 적층 오토인코더를 층별로 훈련하는 것과 비슷함

• 예를 들어 생성자의 출력 4X4에서 8X8로 크게 하려면 기존 합성곱 층에 업샘플링을 추가함

  

• 왼쪽은 4x4의 컬러 이미지를 출력, 오른쪽은 8x8 이미지를 출력하도록 확장

• 또한 출력의 다양성을 증가시키고 훈련을 더 안정적으로 만드는 몇 가지 기법도 다음과 같음

미니배치 표준편차 층

• 판별자의 마지막 층 근처에 추가
• 입력에 있는 모든 위치에 대해 모든 채널과 배치의 모든 샘플에 걸쳐 표준편차를 계산
• 생성자가 만든 이미지에 다양성이 부족하면 판별자의 특성 맵 간의 표준편차가 작을 것
• 이를 통해 더 다양한 출력을 만들도록 유도하고 모드 붕괴의 위험을 줄임

동일한 학습 속도

• 모든 가중치가 동일한 속도로 학습될 수 있도록하는 기법
• He 초기화 대신, 평균이 0이고 표준편차가 1인 가우시안 분포를 사용해 모든 가중치를 초기화하고, 층이 실행될 때마다 He 초기화에 있는 동일한 인자로 가중치의 스케일을 낮춤

픽셀별 정규화 층

• 생성자의 합성곱 층 뒤에 정규화층을 추가
• 이를 통해 생성자와 판별자 사이의 과도한 경쟁으로 활성화 값이 폭주하는 것을 막음

[danbi5228]

17.9.4 StyleGAN

• style transfer 기법을 사용해 생성된 이미지가 훈련된 이미지와 같은 다양한 크기의 국부적인 구조를 갖도록 만듦
  • 판별자와 손실함수는 그대로 두고 생성자만 변경
• 구조
  • 
  • 매핑 네트워크: 코딩을 여러 스타일 벡터로 매핑
  • 8개의 MLP(FC 레이어 8개)가 잠재표현 z (코딩)를 벡터 w로 매핑
  • 벡터 w는 여러 아핀변환으로 전달되어 벡터 여러 개를 생성함
  • 벡터는 미세한 텍스처(e.g. 머리 색상)부터 고수준 특성(e.g. 어른이나 아이)까지 각기 다른 수준에서 생성된 이미지의 스타일 제어함
  • 합성 네트워크: 이미지 생성
  • 훈련 후 입력이 일정해지고 훈련하는 동안에는 역전파에 의해 입력이 계속 변화함
  • 입력을 합성곱 여러 개와 업샘플링 층에 통과시키는 것은 기존 생성자의 구조와 동일
    • 다른점: 입력과 모든 합성곱 층의 출력에 잡음을 조금 섞고 + AdaIN (적응적 인스턴스 정규화)층 통과
    • 각 특성맵을 독립적으로 표준화한 다음 스타일 벡터를 이용해 각 특성 맵의 스타일과 offset을 결정
  • 추가된 잡음을 사용하여 이미지의 각 부분에 정확한 양의 무작위성을 추가할 수 있음
  • 잡음 입력은 하나의 특성 맵을 채우는 가우시안 잡음으로 구성되고 해당 수준의 모든 특성 맵에 브로드캐스팅됨
• 일정 비율의 이미지를 두 개의 다른 코딩으로 생성하는 믹싱 규제 (또는 스타일 믹싱)이라 불리는 기법을 사용
  • 코딩 c1과 c2가 매핑 네트워크를 통과하여 두 스타일 벡터 w1과 w2를 만들고
  • 합성 네트워크가 첫 번째 단계에서 스타일 w1으로, 나머지 단계에서는 w2를 바탕으로 이미지를 생성
  • 네트워크가 인접한 수준의 스타일이 상관관계를 가진다고 가정하지 못하도록 막음
  • --> 각 스타일 벡터가 생성된 이미지에 있는 제한된 개수의 속성에만 영향을 미치는 styleGAN의 국지성을 촉진시킴

[njs03332]

18. 강화 학습

• 1950년대에 시작한 분야, 2013년 게임 <아타리>, 2016년 알파고로 관심을 받음

18.1 보상을 최적화하기 위한 학습

• 강화학습에서 소프트웨어 에이전트는 관측을 하고 주어진 환경에서 행동을 한 결과로 보상을 받음
• 에이전트의 목적은 보상의 장기간 기대치를 최대로 만드는 행동을 학습하는 것
• 다양한 종류의 작업에 적용할 수 있음
  • 에이전트: 로봇을 제어하는 프로그램, 환경: 실제 세상, 관측: 여러 센서를 이용, 행동: 모터를 구동하기 위해 시그널을 전송, 보상: 목적지에 도착하면 양의 보상
  • 에이전트: 미스 팩맨, 환경: 아타리 게임 시뮬레이션, 행동: 가능한 9가지 조이스틱 위치, 관측: 스크린샷, 보상: 게임 점수
  • 에이전트: 바둑 같은 보드게임을 플레이하는 프로그램
  • 에이전트: 스마트 온도조절기, 보상: 목표 온도를 마주어 에너지를 절약하면 양의 보상
  • 에이전트: 주식시장의 가격을 관찰하고 매초 얼마나 사고 팔아야 할지 결정, 보상: 금전적 이익과 손실
• 양의 보상이 전혀 없는 경우도 있을 수 있음 (e.g., 미로)
• 활용할 수 있는 작업의 예시
  • 자율주행 자동차, 추천 시스템, 웹 페이지에 광고를 배치하기, 이미지 분류 시스템이 주의를 집중할 곳을 제어하기 등