提案した顔すり替えパイプラインのそれぞれで、従来の手法より正確な最新の顔解析アルゴリズム(=顔検出、顔ののランドマーク検出、顔の ROI [region of interest] 検出(=顔関心領域のセグメンテーション))や三角測量に基づく顔の歪み補正を適用することで、顔合成の正確性・安定性・ロバスト性・高速性を向上させている。
face alignment : 正確な顔の検出アルゴリズムと顔のランドマーク検出アルゴリズムによって、ソース画像とターゲット画像の顔すり替え部分の位置が合うように顔が位置合わせされる
※ 顔検出アルゴリズムは、論文 「Learning common and feature-specific patterns: a novel multiple-sparse- representation-based tracker」 に関連した手法
※ ランドマーク検出アルゴリズムは、回帰ツリーのアンサンブルに基づいた一般的なランドマーク検出アルゴリズムである論文 「Onemillisecondfacealignmentwith an ensemble of regression trees」「Active appearance models」
face warping : 位置合わせしたソース画像とターゲット画像の顔すり替え結部分が合うように、顔のランドマーク情報を元に顔画像を歪ませる。この際に、髪の毛や体などの背景の一部を顔すり替え前後で保持させるために、三角測量 [triangulation] で分割した3角領域内 (a) で特定のアフィン変換を行うことで、顔の歪ませを実現する。
face replacement : 歪ませた顔に対して、face-ROI アルゴリズムにより、顔すり替え対象部分となる ROI [region of interest] を検出する。その後、顔のすり替えや色補正などの一般的な手法で、最終的な顔すり替え結果を描写する。
※ face-ROI 検出アルゴリズムとしては、深層学習ベースの手法 「Object contour detection with a fully convolutional encoder-decoder network 」 を採用。
4. どうやって有効だと検証した?
3つの顔すり替え論文「SwapItUp: A face swap application for privacy protection」「Fast face-swap using convolutional neural networks」「Video face replacement」との定性的&定量的な比較実験から、本手法の優位性を確認している。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
以下の図のように、顔の位置合わせ [face alignment] +歪み補正 [face warping] +すり替え [face replacement] の3段階から構成されるパイプラインにおいて、最新の顔解析アルゴリズムを適用することで顔すり替えを行う。
face alignment : 正確な顔の検出アルゴリズムと顔のランドマーク検出アルゴリズムによって、ソース画像とターゲット画像の顔すり替え部分の位置が合うように顔が位置合わせされる ※ 顔検出アルゴリズムは、論文 「Learning common and feature-specific patterns: a novel multiple-sparse- representation-based tracker」 に関連した手法 ※ ランドマーク検出アルゴリズムは、回帰ツリーのアンサンブルに基づいた一般的なランドマーク検出アルゴリズムである論文 「Onemillisecondfacealignmentwith an ensemble of regression trees」「Active appearance models」
face warping : 位置合わせしたソース画像とターゲット画像の顔すり替え結部分が合うように、顔のランドマーク情報を元に顔画像を歪ませる。この際に、髪の毛や体などの背景の一部を顔すり替え前後で保持させるために、三角測量 [triangulation] で分割した3角領域内 (a) で特定のアフィン変換を行うことで、顔の歪ませを実現する。
face replacement : 歪ませた顔に対して、face-ROI アルゴリズムにより、顔すり替え対象部分となる ROI [region of interest] を検出する。その後、顔のすり替えや色補正などの一般的な手法で、最終的な顔すり替え結果を描写する。 ※ face-ROI 検出アルゴリズムとしては、深層学習ベースの手法 「Object contour detection with a fully convolutional encoder-decoder network 」 を採用。
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?