GAN과 그 변형된 모델들은 생성 퀄리티나 학습 안정성 면에서 많은 진전이 있었으나,
GAN이 어떤 지식들을 학습할 필요가 있는지와 잘못된 결과들의 원인에 대해서는 여전히 의문이었음.
(모델의 이해 / 시각화 면에서는 지지부진하였음)
해당 논문에서 GANs을 unit scale, object scale, scene scale에서 시각화하고 분석하는 프레임워크를 제안하였음.
segmentation을 기반으로 object concept과 밀접하게 관련된 일련의 해석가능한 units(filters)를 식별한다.
이 unit의 output의 object를 제어하는 개입 능력을 측정함으로서 해석가능한 unit의 인과 관계를 정량화한다.
발견된 object concepts를 새로운 이미지에 삽입함으로서 해당 units과 그 주변 환경 사이에 있는 contextual relationship을 파악한다.
일종의 image edit를 하기 위함??
1. Introduction
관점
특정 물체를 생성하기 위해서 GAN이 어떤 지식을 배워야 할지?
반대로, GAN이 현실적이지 못한 이미지를 생성할 때 어떤 이유로 발생하는지 관련하여 연구한다.
또한 왜 GAN 변형 모델들이 다른 모델들보다 성능이 좋은지?
연구 과제
GANs의 internal representations(내부 표현)을 연구한다.
사람이 물체를 살필 때 올바르게 있는지 판단하는 과정을 가지고 있다.
예를 들어, "문은 건물에 위치한다", 혹은 "문은 나무에 위치하지 않는다"와 같은 사실들.
논문에서는 GAN이 구조를 어떻게 표현하는지 알아본다.
GAN이 이미지를 살필 때 순수한 pixel patterns로 인식하는지?
GAN이 인간이 물체의 사실성을 판단하는 것처럼 어떠한 내재된 변수를 포함하고 있는지?
내재 변수가 있다면 물체의 생성을 이야기 하는지?
상관관계만 있는 내재변수인지?
물체들 간의 관계를 어떻게 표현하는지?
위의 의문들을 해결하기 위해서 저자들은 neuron, object, contextual relationship 레벨에서 GANs을 이해하고 시각화하기 위한 general method를 제안한다.
2. Method
2.1 Dissection
생성된 이미지의 명시적 표현을 갖는 클래스 확인
generator 도중의 feature map(r)에서 activation이 높게 나타나는 영역과 생성된 이미지에서 segment후에 관측되는 영역을 비교한다. segment에서 관찰되는 영역과 feature map에서 나타나는 영역이 비슷한 영역인지 IoU방법으로 계산한다.(추가로 class로 알 수 있다.)
결과에 특정 클래스에 영향을 미치는 feature map을 확인 가능하다.
2.2 Intervention
해당 클래스를 on-off 하면서 이미지에서 영향을 확인
feature map(r)
특정 class c를 예측하는데 도움이 되는 feature map이 있는 반면, 도움이 되지 않는 feature map도 존재한다. 이를 각각 r{U,P}, r{bar{U,P}} 로 정의한다.
generator 중간 feature map에서 특정 클래스 feature map 값을 추가하거나 빼서 결과 이미지를 확인한다.
참조 홈페이지
Link 1 Link 2 GAN 내부를 이해해 보자는 의미에서 쓰여진 논문
0. Abstract
GAN과 그 변형된 모델들은 생성 퀄리티나 학습 안정성 면에서 많은 진전이 있었으나, GAN이 어떤 지식들을 학습할 필요가 있는지와 잘못된 결과들의 원인에 대해서는 여전히 의문이었음. (모델의 이해 / 시각화 면에서는 지지부진하였음)
해당 논문에서 GANs을 unit scale, object scale, scene scale에서 시각화하고 분석하는 프레임워크를 제안하였음.
1. Introduction
관점
연구 과제
사람이 물체를 살필 때 올바르게 있는지 판단하는 과정을 가지고 있다.
논문에서는 GAN이 구조를 어떻게 표현하는지 알아본다.
위의 의문들을 해결하기 위해서 저자들은 neuron, object, contextual relationship 레벨에서 GANs을 이해하고 시각화하기 위한 general method를 제안한다.
2. Method
2.1 Dissection
생성된 이미지의 명시적 표현을 갖는 클래스 확인 generator 도중의 feature map(r)에서 activation이 높게 나타나는 영역과 생성된 이미지에서 segment후에 관측되는 영역을 비교한다. segment에서 관찰되는 영역과 feature map에서 나타나는 영역이 비슷한 영역인지 IoU방법으로 계산한다.(추가로 class로 알 수 있다.)
2.2 Intervention
해당 클래스를 on-off 하면서 이미지에서 영향을 확인 feature map(r)
특정 class c를 예측하는데 도움이 되는 feature map이 있는 반면, 도움이 되지 않는 feature map도 존재한다. 이를 각각 r{U,P}, r{bar{U,P}} 로 정의한다. generator 중간 feature map에서 특정 클래스 feature map 값을 추가하거나 빼서 결과 이미지를 확인한다.
3. Result