search

axinc-ai / ailia-models

The collection of pre-trained, state-of-the-art AI models for ailia SDK
2k stars 318 forks source link

Implement TripoSR #1494

Closed yuki399 closed 1 month ago

yuki399 commented 3 months ago

https://github.com/axinc-ai/ailia-models/issues/1420

kyakuno commented 1 month ago

フォルダ名はスネークケースに統一するため、tripo_srに変更予定。

kyakuno commented 1 month ago

モデルアップロード済み。 https://storage.googleapis.com/ailia-models/tripo_sr/TripoSR.onnx.prototxt

kyakuno commented 1 month ago

AIでNERFのモデルをgenerateして、レンダリングしている。

kyakuno commented 1 month ago

removebgを内部的に使用している。

kyakuno commented 1 month ago

trimeshも必要だったので、requirements.txtにrembgを追加した。

kyakuno commented 1 month ago

pngを入力する場合はアルファチャンネルが必須でrembgは使われない。

kyakuno commented 1 month ago

中間表現はtriplane-NeRF representation。

kyakuno commented 1 month ago

入力画像 -> DINOv1を元にした画像エンコーダ -> 潜在ベクトル -> デコーダ -> Triplane-NERF -> MarchingCubes (等値面算出) -> 10Kポイントサンプリング -> 3Dメッシュ生成