search

TMElyralab / MuseV

MuseV: Infinite-length and High Fidelity Virtual Human Video Generation with Visual Conditioned Parallel Denoising
Other
2.32k stars 251 forks source link

请问如何设置多卡并行推理 #88

Closed wytyl13 closed 3 months ago

wytyl13 commented 5 months ago

请问如何设置多卡并行推理

xzqjack commented 5 months ago

@wytyl13 是指多卡数据并行推理吗？如果是的话，现在不支持。

一种简单的方式，写个sh脚本，将python命令复制N（卡数量）份，每个命令的 target_datas 收的拆分下。

Gierry commented 4 months ago

@xzqjack 不要瞎说，你这样的方式无法做到知识的继承，合并后会乱的

xzqjack commented 4 months ago

@xzqjack 不要瞎说，你这样的方式无法做到知识的继承，合并后会乱的

啥意思？

xzqjack commented 4 months ago

请问如何设置多卡并行推理

@wytyl13 刚说的是最简单的多任务跑得快，还有另外两种方式

  1. 多进程共享内存方式：多进程任务做模型预测，共享内存做任务队列。参考https://github.com/TMElyralab/MuseV/blob/train/scripts/extract_feature/extract_video_emb_with_multi_process.py
  2. 服务的方式：将模型变成http服务，通过http请求的方式发放任务，可以参考gradio的脚本、或者其他flask 深度学习预测等。