doublejy715
commented
2 years ago 2nd
Introduction / Conclusion /Figure
Introduction
image synthesis에서 주로 realistic한 얼굴 이미지를 생성하는 것이 주요 토픽이다. 최근 StyleGAN 기술로 랜덤한 realistic한 얼굴 이미지를 random 생성할 수 있게 되었다. 그러나 얼굴 geometry 와 appearance 컨트롤은 부실한 면이 있다. 이미지 생성 과정에서 일부분의 특성 조정은 원하는 얼굴을 만들기 위해서 필요한 영역이다. 특성에는 geometry, appearance, head pose, viewpoint 등이 있다.
Sketch-based condition은 image-to-image translation techniques에 주로 이용된다.(sketch는 geometry를 표현하는데 쉬운 표현수단) 많은 sketch-to-image techniques는 edge map이나 sketch 그림에서 실제 얼굴을 생성하기 위해 많이 이용된다. 그러나 sketch만 있는 사진에서 appearance 정보를 추론하기 어렵기 때문에, 위의 기술은 이미지 생성 과정에서 appearance의 조절에 적합하지 않다.
다른 한편, reference image와 비슷한 appearance를 가진 realistic 얼굴 이미지를 생성하는 여러 방법이 존재한다. 그러나 이런 기술은 주로 global appearance transfer를 목표로 한다. 그리고 source image의 geometric 정보를 잘 보존하지 못한다는 단점이 있다. 그래서 disentangling 기술은 얼굴 생성에 있어서 반드시 좋게 나오지는 않는다. 이러한 방법들은 이미지들을 전체적으로 다루기 때문에 detail 부분까지 조절하기는 힘들다.
본 논문에서는 DeepFaceEditing을 소개한다. 얼굴을 생성하고 editing하는 framework이다. 이 framework geometry와 appearance간 disentangled control이 가능하다. 주요 방법은 disentanglement framework를 얼굴 이미지에 대해서 설계하는 것이다. 얼굴을 관찰하여 facial components를 고정하고 local-to-global framework에 적용한다.
크게 2개의 module로 되어있다. Local Disentanglement(LD)와 Global Fusion(GF)이 그것이다. 사진과 sketch를 한 쌍으로 하여 LD module은 얼굴 요소들을 geometry와 appearance, 2가지로 disentangle하게 만들어 준다.
disentanglement를 확실하게 하기 위해서 논문의 geometry space는 sketch와 image 양쪽 공간을 공유하도록 디자인 되었다. 이러한 방법으로 geometry reference image에서 geometry 정보를 사용하고, sketch-based interface을 가지고 manipulation이 가능하게 되었다.
- 본 논문에서는 face image representation과 synthesis에서 disentanglement framework를 보인다.
- 이를 위해서, network architecture은 local disentanglement(LD) 모듈을 포함한다. 이는 개인 얼굴 요소들을 더욱 효과적으로 학습하도록 만들어 준다. 그리고 global funstion(GF) 모듈은 LD 모듈에서 생성된 feature map의 효과적인 합성을 위해 이용된다. LD 모듈은 image와 sketch들의 일부가 서로 공유되는 공간에 embed하도록 설계되었다. 이는 disentanglement가 적절하게 이루어 지도록 한다. 그리고 sketch는 geometry를 명시적으로 표현할 수 있게 되었다.
- 실시간 editing이 되도록 지원한다. 이것은 sketch-based interface를 이용해서 세세한 영역의 geometry를 수정 가능하다.
Conclusion, limitations and future work
이 연구는 face generation과 editing을 위해서 disentanglement framework를 하나 소개한다. 주로 관점은 geometry와 appearance 특성의 얼굴 이미지는 효과적으로 disentangled 가능 했다는 점이다. 그리고 sketches는 geometry feature에 있어서 이상적인 중간적 위치를 제공한다. 게다가, sketches는 disentanglement에서 강한 강제성을 부여 가능하다.
geometry와 appearance disentanglement의 component-level은 Local Disentanglement module에서 얻어진다. LD module은 swapping strategy를 통해서 학습된다. Global Fusion module은 feature map의 facial image pathces로 부터 일관된 local-to-global image를 생성하도록 한다.
추가 연구를 통해서 우리의 연구는 바른 방법 보다 더욱 사실적인 사람 얼굴을 생성해 내었다. 또한 이 연구의 시스템은 sketch editing 같은 기술에 적용 가능함을 보였다. hand-drawn sketch 기반으로 face image를 생성하고 disentangled한 face morphing을 가능하게 하였다.
이 연구의 한계점 중 한가지는 geometry와 appearance만 disentangle 가능하다는 것이다. 다른 attribute들은 (head pose와 같은 것들) 고려되지 않았다. 이것은 Figs 17 / 18에 보인다.
얼굴의 pose가 정면을 바라보지 않거나 가려진 곳이 있다면 이상한 색이 얼굴에 나타날 것이다.
또한 lighting은 face synthesis method에 있어서 대부분 존재하는 도전과제다. 이 연구의 frameworkd에서 역시 disentangle하지 않기 때문에 sketch나 reference image를 이용해서 lighting condition을 조절하는 것은 어렵다.
1st
Title /Abstract /Figure