issues
search
Yagami360
/
machine-learning-papers-survey
機械学習関連の論文Survey用レポジトリ
135
stars
6
forks
source link
On Face Segmentation, Face Swapping, and Face Perception
#3
Open
Yagami360
opened
5 years ago
Yagami360
commented
5 years ago
0. 論文情報・リンク
論文リンク:
https://arxiv.org/abs/1704.06729
論文公開日時:2017/4/22
被引用数(記事作成時点):32 件
実装コード:
https://github.com/YuvalNirkin/face_swap
1. どんなもの?
画像の顔のランドマーク情報から、それに沿うように平均的な顔の3Dモデルの変形を推定し、変形した3Dモデル上の可視部分(=顔すり替え部分となる)をセグメンテーションすることで、顔すり替えを行う。
2. 先行研究と比べてどこがすごいの?
顔すり替えの画像間がペア付されておらず、顔画像の制約がない場合でも、高クオリティーで堅牢な顔すり替えが実現出来る。
3Dモデルベースの手法なので、視点の変更に対してロバストである。
IARPA Janus CS2 データセットでの学習済みモデルが使えるので、新たな学習用データを別途用意する必要がない。
3. 技術や手法の"キモ"はどこにある?
下図のような手順で、顔すり替えを行う。
入力されたソース画像とターゲット画像 (a) の顔のランドマーク (b) から、平均的な顔の 3D モデル(Basel Face Model (BFM))の形状や3D 上の姿勢や表情を推定する。(※ ランドマークの検出は、既存の検出器を使用する。)
ピクセル度の顔の可視部分を予想出来るように学習された FCN で、顔の可視部分をモデルの内容と背景から顔をセグメンテーション化する。(c)(※ 顔の可視部分が、顔すり替え部分に対応するので、可視部分をセグメンテーション化して顔すり替えを行う。)
2つの変形した3D顔の形状をターゲットの3D形状に合うように歪めて (d)、ターゲット画像にブレンドする。(e)
4. どうやって有効だと検証した?
Labeled Faces in the Wild(LFW)ベンチマークを使用して、被験者内および被験者間の顔スワッピングの効果を測定。
FCN のアーキテクチャは、Pascal データセット用にファインチューニングされた FCN-8s-VGG のアーキテクチャを採用。
FCN でのセグメンテーションの学習データは、IARPA Janus CS2 データセットの動画のフレームにある顔画像とラベル付されたセグメンテーション画像
5. 議論はあるか?
実装が公開されているので、用意に試せる。
顔の3Dモデルを別途必要とするのが問題となるか?
6. 次に読むべき論文はあるか?
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?