Barbershop image skimming

[doublejy715]

Fig 1.

input : target image / mask of target image / appearance source image / structure source image
output : edited target image

• appearance : 해당 이미지의 머리 색을 들고온다.
• structure : 해당 이미지의 머리 속성(곱슬, 직모) 정보를 들고온다.
• mask : appearance와 structure에서 찾은 정보를 토대로 mask에 위치시킨다.

Fig 2.

F, S와 W+ latent space의 관계를 나타낸 이미지.

• F : structure tensor
• S : appearance tensor

W+ 1 ~ 7 blocks : structure tensor F 형식으로 바뀐다.
W+ 8 ~ 18 blocks : appearance code S로 사용

1 ~ 7 blocks : structure 정보를 담음. 8 ~ 18 blocks : appearance 정보를 담음

Fig 3.

overview of the method (a)
top : 얼굴 참조 이미지(이 얼굴을 들고 온다고 생각) -> target image bottom : 머리 참조 이미지(이 머리를 들고 온다고 생각) -> source image

(b)
reconstruct image using the FS latent space

(c) 생성할 머리를 가진 target face mask를 만드는 과정이다.

얼굴 참조 이미지와 머리 참조 이미지 각각 mask를 얻어낸다.
머리 참조 이미지 mask의 머리 라벨을 가져와서 얼굴 참조 이미지 mask에 올려놓는다.

(d) mask 따라서 target image, source image를 각각 재생성한다.

W+ space에서 한번 생성한다.

(e) 재생성한 이미지의 디테일을 살펴보면 target image의 얼굴 속성 디테일이 죽어 있다. source image의 머리 속성 디테일(curl)이 죽어 있다.

(f) transferred를 거치고 나서는 각 이미지의 디테일이 살아 있음을 볼 수 있다.

(g) 전체 transferred image

(h) 머리 스타일을 target image에 적용한다.
appearnce code를 target image로 유지하고 structure tensor를 blended image에 적용한다.

Fig 4.

target mask 생성 과정 target image, structure image, appearance image 각각에 대해서 label 한다.

• M_{1} : 얼굴형을 가져온다.
• M_{2} : 이목구비를 가져온다.
• M_{3} : 머리 structure를 가져온다. 최종적으로는 M mask를 사용한다.

Fig 5.

latent space에 따른 reconstruction test 결과

• W+ : 앞머리, 목걸이, 머리 디테일, 표정, 눈썹 모양 등의 디테일 표현이 떨어진다.
• F/S : 위의 단점을 해결한다.

Fig 6.

• top row : reference images for the hair appearance
• left column : mask | 해당 label 영역에 머리 요소를 생성한다. image | 머리 결 속성을 가져온다.

Fig 10.

limitation

[doublejy715]

Abstract

• 최근 GAN 연구에서는 실제적인 hair or face를 각각 생성하는데 성공하였음. 그러나 자연스러운 하나의 이미지로 생성하는데는 한계점이 여전히 존재함.
• 이유는 고려사항이 너무 많기 때문. lighting, geometry, partial occlusion 등등...