【2017】 Synthesizing Obama: Learning Lip Sync from Audio

[Yongtae723]

ざっくり言うと

人が話しているAudioから、顔の動画を作製し、あたかもそのAudioを話している人 動画を作りだすAI 具体的な方法として AudioをAIに学習させるためにAudioのデータをMFCCに変換する。 →MFCCの時系列データをRNNで学習し、唇をPCAで表現した時の主要成分の重みを学ぶ。 →Audioから作製した唇の画像と唇周辺の要素(顎、頬等)を組み合わせる →最後の顔全体とback groundを合わせていかにもそれっぽいものを作る。

サンプル動画：https://www.youtube.com/watch?v=9Yq67CjDqvw training dataとして、Obamaのスピーチを用いている。

キーワード

Audio to Face

1. 情報

論文リンク

https://grail.cs.washington.edu/projects/AudioToObama/siggraph17_obama.pdf

著者

SUPASORN SUWAJANAKORN

投稿日付

2017年

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

7. 実装の詳細

8. データセット

9. 結果の詳細

雑感&メモ