search

DefTruth / RVM-Inference

🔥Robust Video Matting C++ inference toolkit with ONNXRuntime、MNN、NCNN and TNN, via lite.ai.toolkit.
GNU General Public License v3.0
116 stars 27 forks source link

你好，请问如何使用f16的模型？我使用f32的模型运行起来了， 但是速度不是特别理想，3060ti没占满，并且cpu只用到了单个核心 #2

Closed luckily-lzy closed 2 years ago

luckily-lzy commented 3 years ago

新手上路，不太会

DefTruth commented 3 years ago

新手上路，不太会

f16的模型现在直接调用有些问题，fp32没有问题，这里有讨论 #4 。GPU没有占满的原因，我想可能是我的这份实现里，暂时还没有实现C++版本的CUDA的io_binding。这个问题在RVM的官方仓库有说明，inference_zh_Hans.md . 您可以考虑在 lite.ai.toolkit 中重新开这个issue，我会考虑在 lite.ai.toolkit 中修复这个问题，因为这个demo 项目的c++实现是在lite.ai.toolkit 中~ 对于”cpu只用到了单个核心“，我想这应该是正常的，因为当你使用CUDA版本的时候，运算主要在GPU上。

DefTruth commented 3 years ago

新手上路，不太会

另外就是，如果你是用windows跑，可以参考 DefTruth/lite.ai.toolkit#10 进行GPU的兼容

chris2lee commented 2 years ago

刚上路，不太会 请问你有没有成功跑起来windows的GPU版本？