AlacGAN [User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks]

[ppooiiuuyh]

AlacGAN [User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks]

paper url : https://arxiv.org/pdf/1808.03240.pdf

Contribution

• Conditioned on the output local features network Unlike existing approaches using typical conditional networks(pix2pix), we combine a cGAN with a pretrained local features network, i.e., both generator and discriminzator network are only conditioned on the output of local features network to increase the generalization ability over authentic line arts.

  • local feature의 효과가 와닿지 않음

• ResNeXT, dilated conv, WGAN-GP 사용 we fuse the conditional framework with WGAN-GP and perceptual loss as the criterion in the GAN training stage. This allows us to robustly train a network with more capacity, thus makes the synthesized images more natural and real.

• dataset제공 Moreover, we collected two cleaned datasets with high quality color illustrations and hand-drawn line arts. They provide a stable training data source as well as a test benchmark for line art colorization. by training with the proposed illustration dataset and adding minimal augmentation, our model can handle general anime line arts with stroke color hints

• Content loss (perceptual loss) To penalize color/structual mismatch between the output of generator and ground truth, we adopted perceptual loss as our content loss

  • ill2vec을 사용한다면?

• hint We trade off between them and use randomly sampled points in 4x downsampled scale to simulate stroke-based inputs with the intuition that each color strokes tend to have uniform color value and dense spatial information.

• augmentation To take non-black sketches into account, every sketch image is randomly scaled to x^ = 1 - r(1-x), where r is sampled from an uniform distribution U(0.7,1). We resize the image pairs with shortest sides to be 512 and then randomly crop to 512x512 before random horizontal flipping.

  • 스케치 부분만 더 연하게 augmentation. 더 진하게는?

다른 기법과의 연관성

• SRGAN과 유사한 구조의 Discriminator 사용
• sub-pixel network 사용

[ppooiiuuyh]

AlacGAN bestpractice 기준 향후 개선 방향성 논의를 위한 정리

(우선순위 무관)

자주 등장하지 않는 색 사용시 적용이 잘 안되는 문제

• (좌측 예시)특히 피부와 같이 의미적 영역 단위로 구분 가능하면서도 색 분포가 다양하지 못한 요소에 대하여, 해당 의미적 요소에 자주 사용되지 않는 힌트 정보는 무시하는 쪽으로 학습되는것 처럼 보임

  • 생각해 볼 수 있는 해결 방안
  • 학습 데이터 자체의 색 분포를 변환하여 사용

• (우측 예시) 피부색의 힌트로 살구색, 흰색 등을 사용할 경우에는 영역을 비교적 올바르게 구분하였으나, 보라색 사용시에는 영역을 많이 침범함.

  • 스케치 정보 + 힌트정보가 모두 고려되어 의미적 요소를 형성하는것은 아닌가 생각됨
  • 즉, 스케치 정보 뿐만 아니라 여기에 자주 사용되는 색 까지 포함되어야 (또는 힌트가 아예 없거나) 얼굴과 같은 의미적 요소로 반영되는것이 아닌가 생각됨
  • 예를 들어, 둥글고 넓은 영역에 보라색 힌트 정보가 있을 경우 : 공이나 옷 / 살구색이 있을 경우 :얼굴
  • 생각해볼 수 있는 해결 방안
  • 힌트 정보나 local feature가 레이어에 반영되는 시점을 조정

힌트사용시 '번져서' 영역을 침범하는 문제

• 힌트 사용시 영역을 구분하는 것과 별개로 번지는듯하게 칠해지는 문제점이 있음
  • 생각해볼 수 있는 해결 방안
  • upsampling시 단계를 나누어 힌트를 주입

밑색 채색

• 과도한 디테일(홍조, 음영 등)이나 gradient (style2paint에서는 의도적으로 넣었으나), 수채화 느낌 등은 작가 입장에서는 불필요.
• 지금 단계에서는 가장 첫 단계인 밑색(또는 style2paint에서의 flat color)을 우선시 할 필요가 있음
  • 생각해 볼 수 있는 해결 방안
  • 데이터 자체의 색 분포를 단조화 시켜서 학습
  • TV loss (https://arxiv.org/pdf/1705.01908.pdf 에서 사용한것과 같이), Texture loss (고대 산학, http://openaccess.thecvf.com/content_ICCV_2017/papers/Sajjadi_EnhanceNet_Single_Image_ICCV_2017_paper.pdf 에서 사용한것과 같이) 활용

경계가 모호한 부분에서의 영역 구분

• 밑색 채색을 포함하여 자동 채색이 작가분들에서 효과적으로 사용 될 부분은 포토샵의 올가미툴과 같은 영역 지정 툴로 영역을 구분하기(마감이 잘 안되어있는)까다로운 스케치일 수 있음
• 경계가 모호한 부분은 의미적으로 구분해야 하는데 이는 비 학습 기반의 기법에서는 어렵기 때문에 학습 기반 기법의 강점이 될 수 있음
• 또한 비교적 자세하게 칠하지 않아도 티가 적게나는 조연이나 주변 사물에 자동채색을 부담적게 사용할 수 있을것 같으나, 이러한 경우 스케치는 더 러프할 수 있음.
• 그러나 현재 사용중인 데이터셋은 대체로 선의 마감이 잘되어있어 이러한 조건을 학습하기 힘듦 (기본적으로 채색이 완료되어있는 그림에서 추출했고, 채색을 완료하려면 마감을 잘해야 하는경우가 많기 때문에)
  • 생각해볼 수 있는 해결 방안
  • 의도적으로 스케치의 일부를 지워서 학습

스케치 내부의 흔적이 채색에 반영되는 문제, 또는 이를 활용하는 방안

• (위의 예시는 단순히 밀도가 높기 때문에 검게 나온것도 있기 때문에 적절한 예시는 아님)
• XDoG와 같은 edge extractor를 통해 인공적으로 스케치를 만들기 때문에 흔적이 남으며, 이러한 흔적은 스케치 자체의 스타일에 따라 결과가 다르게 나타나는 문제를 발생시킬 수도 있음 (거의 느껴지지는 않음)
• 아예 스케치-채색 페어를 만들때 의도적으로 이러한 흔적을 활용할 수 있는 방안도 생각해볼 수 있을것 같음
  • 예를 들어, 완전히 단색인 부분이나 특정 '톤' 이 있는 부분에는 스케치의 해당부분에 대응되는 마크를 표기. 이후 inference시에 해당 마크를 추가함으로써 의도적으로 조작 가능하도록 함
  • 모델 관점에서는 해당 마크가 없는 경우 특정 스타일에 대한 분포를 무시하도록 학습할 수 있기 때문에 학습 안정성 향상이나 수채화풍 흔적(목적이 모호해서 생기는것으로 추정)문제를 완화시키는데 도움이 될 수도 있을것으로 생각

영역 정확히 구분

• 기본 고려사항이므로 추가로 작성하지 않음

  힌트색상 정확히 반영

• 기본 고려사항이므로 추가로 작성하지 않음

  다양한 구도, 스케일 반영

• 데이터셋 문제가 크기 때문에 지금 단계에서는 추가로 작성하지 않음

그 외의 고려사항

• 작가 분들의 스타일이 다양하기는 하지만 하나의 모델이 모든 스타일을 동시에 반영할 수 있도록 학습시킬 필요는 없을것으로 보임. 적어도 현재 단계에서의 우선순위는 매우 낮을것으로 생각
  • 우선은 한가지 목적으로라도 타겟을 잡고 '이정도면 (적어도 이 목적에 이 스타일을 대상으로는) 실제로 사용가능' 단계로 만드는것이 중요
• 작가분들은 콘티-> 채색을 한장 한장 단위로 하지 않음.
  • 스토리 단위의 콘티 완성 후, 이를 바탕으로 러프-> (선따기)-> 채색 과정을 거치게 됨
  • 자동채색이 될것이라는 전제하에 일정을 고려하여 콘티를 구상하였는데 막상 해당 콘티에 자동채색이 적용이 안된다면 작가 분들 입장에서는 자동채색 모델을 활용하기 꺼려질 수 있음
  • 다른 산업분야와 같이'어떠한 기준으로 어떠한 용도로 까지는 사용가능하다' 라는 신뢰성이 더 중요할것으로 생각 -> 성능폭이나 목적을 좁히거나 단순화 시키더라도 안정적으로 잘되는쪽으로 초점.