search

jdh-algo / JoyHallo

JoyHallo: Digital human model for Mandarin
https://jdh-algo.github.io/JoyHallo/
MIT License
369 stars 35 forks source link

双卡推理怎么实现? #23

Closed ciaoyizhen closed 1 week ago

ciaoyizhen commented 1 week ago

如题 我只有16g的v100 我修改了CUDA_VISIBLE_DEVICES=2,3 仍然只在2单卡上跑，看README.md里面写了要19g 我两张卡怎么推理呢？ 单卡显存不够

ciaoyizhen commented 1 week ago

我在accelerate_config.yaml里面加了

gpu_ids: all

也没有用

DBDXSS commented 1 week ago

目前是不支持使用两张卡进行单次推理的，16g的情况下可以尝试关闭accelerate，直接进行推理。参考joyhallo-infer.sh

ciaoyizhen commented 1 week ago

目前是不支持使用两张卡进行单次推理的，16g的情况下可以尝试关闭accelerate，直接进行推理。参考joyhallo-infer.sh

这个意思是说 我把代码里的accelerate去掉 然后手动指定每个模型用什么卡吗？ 还是说 accelerate做了缓存 不用这个方式启动就可以在16g内启动

ciaoyizhen commented 1 week ago

我刚刚看了一下代码 似乎pipeline里面直接封了所有的模型 似乎拆开每个模型会比较困难呀

DBDXSS commented 1 week ago

目前是不支持使用两张卡进行单次推理的，16g的情况下可以尝试关闭accelerate，直接进行推理。参考joyhallo-infer.sh

这个意思是说 我把代码里的accelerate去掉 然后手动指定每个模型用什么卡吗？ 还是说 accelerate做了缓存 不用这个方式启动就可以在16g内启动

去掉accelerat，直接python启动，使用accelerat的时候，显存会更大一些

ciaoyizhen commented 1 week ago

目前是不支持使用两张卡进行单次推理的，16g的情况下可以尝试关闭accelerate，直接进行推理。参考joyhallo-infer.sh

这个意思是说 我把代码里的accelerate去掉 然后手动指定每个模型用什么卡吗？ 还是说 accelerate做了缓存 不用这个方式启动就可以在16g内启动

去掉accelerat，直接python启动，使用accelerat的时候，显存会更大一些

谢谢谢谢 哈哈哈哈 我刚刚试了 发现跑起来了 然后回来一看 才发现是这个意思 解决了 占用15802MiB 哈哈哈哈