axinc-ai / ailia-models

The collection of pre-trained, state-of-the-art AI models for ailia SDK

2k stars 318 forks source link

Implement InstantID #1433

Open Akasan opened 6 months ago

Akasan commented 6 months ago

1377 のPRです

Akasan commented 6 months ago

@kyakuno ailiaおよびonnxruntimeどちらで推論を動かしても出力は得られるのですが、推論結果の数値が少し異なるようです（大きくは異なりませんが、微妙に違っているようです）

ailiaおよびonnxruntimeどちらでも動くようにはしておりますので、動作等ご確認いただければと思います。なお、READMEの画像はailiaを利用して作成したものになります

kyakuno commented 6 months ago

@Akasan PR、ありがとうございます。重めのリクエストなのですが、Pytorchを使用しているControlNetとIpAdapterの部分もONNXに変換することは可能でしょうか？（参考： https://github.com/axinc-ai/ailia-models/pull/1124 ）

Akasan commented 6 months ago

@Akasan PR、ありがとうございます。重めのリクエストなのですが、Pytorchを使用しているControlNetとIpAdapterの部分もONNXに変換することは可能でしょうか？（参考： #1124 ）

@kyakuno ご確認ありがとうございます。両モデルのONNX対応について本日以降作業進めさせていただきます！

Akasan commented 5 months ago

@kyakuno 引き続きControlNetおよびIP-AdapterのONNX化をできるか延焼中ですが、作業途中のメモはこちらにて記載しています。

一番厄介なのはdiffusersライブラリの内部コードを確認して移植するところでして、まだどのようにすれば上手くできるか悩んでいる最中です。 diffusersを利用して作るパイプラインの中で文字列の埋め込みから逆拡散過程の処理までしているので、エクスポートして処理するのがシンプルにまだできるイメージがないのが現状です。引き続き検討を進めさせていただきます