ADD AniPortrait

[kyakuno]

https://github.com/Zejun-Yang/AniPortrait

[Akasan]

• HugginfFaceのdemoを動かそうとするとエラーになる模様

[Akasan]

進捗

• [x] サンプルコード動作確認
• [x] エクスポート
  • [x] VAE
  • [x] reference unet
  • [x] denoising_unet
  • [x] pose_guider
  • [x] image_enc
  • [x] Audio2Mesh
  • [x] Audio2Pose
• [ ] パイプライン実装
• [ ] サンプルコード実装

[Akasan]

• denoising_unetをエクスポートしようとするとRAM 32GB、i5-11400では固まってしまい完了しない
• 試しにEC2のc5.12xlarge（RAM96GB）でためしてもkillされてしまう模様
• もともとはfloat36だがfloat16にてエクスポート対応中
  • halfにてエクスポート対応完了

[Akasan]

@kyakuno AniPortraitではmediapipeを一部利用指定ます（主に顔認識の範囲） mediapipeのモデルについても利用しているものは全てONNXにエクスポートした方がいいでしょうか？

現在こちらのFaceLandmerkerの部分を確認中ですが、どのようにエクスポートすれば使えるようになるかまだキャッチアップできかねているので、質問させていただきます

[kyakuno]

mediapipeのfacemeshなどは、ailia modelsにすでにエクスポート済みなので、そちらを使用いただくと良いのではないかと思います。 https://github.com/axinc-ai/ailia-models/tree/master/face_recognition/facemesh_v2

[Akasan]

@kyakuno ありがとうございます。 参考にさせていただきます

[Akasan]

• trans_matの計算が必要
  • facemesh_v2では計算できていない模様
  • trans_matを利用して動作を作成しているらしく、mediapipeのコード解析する必要があるかもしれない

[Akasan]

• trans matを生成す流には、facemesh_v2でランドマークを取得し、こちらのcanonicalと合わせることで計算する

[Akasan]

• mediapipeのコードを見てどのようにtrans_matを計算しているかを探しているが該当する箇所をまだ見つけられていない（おそらくPNPソルバーを使っていると思われる）
• こちらのファイルを用いてtrans_matの計算をSVDを用いてしようとしたが、収束しないと警告が発生しているため方法論を変える必要がある

[Akasan]

@kyakuno 現在trans_matの計算方法を調べているのですが、mediapipeのコードベースで調べていてもなかなか見当たらず苦戦している状態です。 facemesh_v2の結果を利用すれば計算できそうなのですが、その具体的な計算ロジックがうまくいってない状態です。 かなり長時間調べてもまだわからない状態なので、どこか区切りを設けて調べた方がいいかなと思っている次第です。

一旦7/24稼働分まででできそうか調べてみて、もし厳しそうであれば再度連絡させて頂こうと思います

[Akasan]

7/22時点でtrans_matの計算結果が良さそうに見えるので進めてみます