fulfulggg
commented
3 weeks ago @yukihiko-fuyuki が以下のラベルを提案し、適用しました：
- video-editing
- paper-implementation
- new-label: animation-generation
以下の新しいラベルが作成され、適用されました：
- video-editing
- new-label: animation-generation
タイトル: アニメーションライン中割り込みのための薄板スプライン補間
リンク: https://arxiv.org/abs/2408.09131
概要:
アニメーションラインの中割りは、2つのキーフレームの中間の線画を予測することでアニメーションの流動性を高めることを目的とした、アニメーション制作における重要なステップです。しかし、既存の手法は、線画キーフレームにおけるまばらなピクセルや大きな動きに効果的に対処することに課題を抱えています。 文献では、通常、Chamfer Distance（CD）が中割り性能の評価に採用されています。既存の手法は良好なCD値を達成していますが、特に動きが大きい場合に、線の断線が生じた補間フレームが生成されることがよくあります。 この観察結果に基づき、本稿では、アニメーションラインの中割りにシンプルながらも効果的な補間手法を提案します。この手法は、Thin Plate Splineに基づく変換を採用し、特に動きが大きい場合に、2つのキーフレーム間のキーポイント対応をモデル化することで、大まかな動きをより正確に推定します。この大まかな推定に基づき、シンプルなUNetモデルを用いて最終的なフレーム補間を行う前に、動きをさらに詳細に強化するために、動き refinement モジュールが採用されています。 さらに、アニメーションラインの中割りの性能をより正確に評価するために、CDメトリックを改良し、Weighted Chamfer Distanceと呼ばれる新しいメトリックを導入します。このメトリックは、視覚的な知覚品質との高い整合性を示しています。さらに、Earth Mover's Distanceを組み込み、ユーザー調査を実施することで、より包括的な評価を行っています。提案手法は、流動性を高めた高品質な補間結果を提供することで、既存の手法を凌駕しています。コードは\url{https://github.com/Tian-one/tps-inbetween}で公開されています。