Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization(AdaIN)
Abstract
style transfer : content image에 다른 이미지의 스타일을 씌우는 작업
기존의 style transfer는 속도가 느리다는 단점이 존재한다. 빠른 style transfer을 위해서 feed-forward neural network를 사용 가능.
그러나 현재의 FNN의 단점(in style transfer) : 속도는 빠르나 한가지 스타일만 생성 가능하다. 다른 새로운 스타일은 생성 불가능.
해당 논문은 adaptive instance normalization(AdaIN)을 소개한다. AdaIN은 content feature를 적용할 style feature의 평균과 분산에 따라 재 정렬 해주는 layer이다.
이 방법은 빠른 속도를 보여주며, 적용에 제한이 없다는 장점을 보인다. 또한 flexible user control적인 모습과 다양한 분야(style trade off, style interpolation, color & spatial controls) single feed-forward neural network에 적용 가능하다.
1. introduction
deep neural networks(DNNs)는 image의 style information을 encoding 가능하다. 게다가, 이미지 스타일과 content는 분리되어 있어 이미지의 스타일은 변경하고 content는 유지 가능하다.(content가 아마 그림의 전체적 구조인 듯 하다.)
기존 최적화 과정은 매우 느리다는 단점이 있다. 이는 단 방향으로만 스타일 학습을 하기 때문이다. 또한 feed-forward method는 하나의 스타일만 학습 가능하다는 치명적인 단점이 존재한다.
해당 논문에서는 neural style transfer algorithm을 소개한다.(이 알고리즘은 시간적 문제를 해결해 준다.) 이 접근법은 새로운 스타일을 실시간으로 따라할 수 있게 한다. 속도는 feed-forward approach 와 비슷하다.
Instance noramlization 의 성공을 설명하기 위해서, 우리는 새로운 해석을 제안하는데, 그것은IN이 feature statistics를 정규화함으로서 style normalization을 수행한다는 것이다. 이는 feature statistics를 정규화 하는것이 style information을 유도할 수 있다는 기존의 연구들로 비롯된 것이다. 이러한 우리의 해석에 motivation을 얻어서, 우리는 IN을 간단하게 확장한 AdaIN을 제안한다.
(더 있음)
2. Related Work
Style transfer
Deep generative image modeling
3. Background
3.1. Batch Normalization
batch normaliztion(BN) layer는 feed-forward networks를 쉽게 학습하게 한다. BN layer는 discriminative network의 학습을 더욱 가속시키기 위해 만들어 졌다. 그러나 generative image modeling에도 효과가 있다는 것이 밝혀졌다.
BN은 mean과 standard deviation으로 individual feature channel을 normalizes한다.
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization(AdaIN)
Abstract
style transfer : content image에 다른 이미지의 스타일을 씌우는 작업 기존의 style transfer는 속도가 느리다는 단점이 존재한다. 빠른 style transfer을 위해서 feed-forward neural network를 사용 가능. 그러나 현재의 FNN의 단점(in style transfer) : 속도는 빠르나 한가지 스타일만 생성 가능하다. 다른 새로운 스타일은 생성 불가능.
해당 논문은 adaptive instance normalization(AdaIN)을 소개한다. AdaIN은 content feature를 적용할 style feature의 평균과 분산에 따라 재 정렬 해주는 layer이다.
이 방법은 빠른 속도를 보여주며, 적용에 제한이 없다는 장점을 보인다. 또한 flexible user control적인 모습과 다양한 분야(style trade off, style interpolation, color & spatial controls) single feed-forward neural network에 적용 가능하다.
1. introduction
deep neural networks(DNNs)는 image의 style information을 encoding 가능하다. 게다가, 이미지 스타일과 content는 분리되어 있어 이미지의 스타일은 변경하고 content는 유지 가능하다.(content가 아마 그림의 전체적 구조인 듯 하다.)
기존 최적화 과정은 매우 느리다는 단점이 있다. 이는 단 방향으로만 스타일 학습을 하기 때문이다. 또한 feed-forward method는 하나의 스타일만 학습 가능하다는 치명적인 단점이 존재한다.
해당 논문에서는 neural style transfer algorithm을 소개한다.(이 알고리즘은 시간적 문제를 해결해 준다.) 이 접근법은 새로운 스타일을 실시간으로 따라할 수 있게 한다. 속도는 feed-forward approach 와 비슷하다.
Instance noramlization 의 성공을 설명하기 위해서, 우리는 새로운 해석을 제안하는데, 그것은IN이 feature statistics를 정규화함으로서 style normalization을 수행한다는 것이다. 이는 feature statistics를 정규화 하는것이 style information을 유도할 수 있다는 기존의 연구들로 비롯된 것이다. 이러한 우리의 해석에 motivation을 얻어서, 우리는 IN을 간단하게 확장한 AdaIN을 제안한다.
(더 있음)
2. Related Work
Style transfer
Deep generative image modeling
3. Background
3.1. Batch Normalization
batch normaliztion(BN) layer는 feed-forward networks를 쉽게 학습하게 한다. BN layer는 discriminative network의 학습을 더욱 가속시키기 위해 만들어 졌다. 그러나 generative image modeling에도 효과가 있다는 것이 밝혀졌다. BN은 mean과 standard deviation으로 individual feature channel을 normalizes한다.
3.2 Instance Normalization
3.3 Conditional Instance Normalization
4. Interpreting Instance Normalization
Reference
[논문 정리] AdaIN을 제대로 이해해보자