Open RomaYang opened 1 year ago
我用online生成5秒的视频,也巨慢无比...
同问? 怎么利用macbook的mps
唉,m1 pro 9秒视频,花了30多分钟。另外用4090的PC可以降到10秒级别,但GPU占用才10%,同问如何追加对GPU的占用,起到加速效果?
我3秒的视频,合成用了50多分钟,cpu占用百分之二百多,gpu为0,大佬,支持一下M1的gpu啊
确实需要很大算力,我用4090 1080p的图 1分钟都得将近10分钟呢..
Guys, for M1/M2 Apple silicon, please refer to this link, you'll be amazed: https://github.com/OpenTalker/SadTalker/discussions/457
请参考上面的链接,在Apple Silicon上面特别慢的原因是Conv3D暂时没有针对苹果的优化版本。所以用pirender分支,切换成使用PIRender来生成人脸。速度提高非常明显。
请问是怎么配出来的M2.....
请问是怎么配出来的M2.....
按照#457链接里面的说明切换到pirender即可。 但是,中间我升级了一次a1111,之后界面上的切换按钮不见了,也没法使用pirender了,暂时还没找到解决办法。
Guys, for M1/M2 Apple silicon, please refer to this link, you'll be amazed: #457
请参考上面的链接,在Apple Silicon上面特别慢的原因是Conv3D暂时没有针对苹果的优化版本。所以用pirender分支,切换成使用PIRender来生成人脸。速度提高非常明显。
在按照指引的方式使用pirender分支执行的过程中:
tts_models/multilingual/multi-dataset/xtts_v2 is already downloaded. Using model: xtts Running on local URL: http://127.0.0.1:7860
To create a public link, set share=True
in launch()
.
using safetensor as default
{'checkpoint': 'checkpoints/SadTalker_V0.0.2_256.safetensors', 'dir_of_BFM_fitting': 'src/config', 'audio2pose_yaml_path': 'src/config/auido2pose.yaml', 'audio2exp_yaml_path': 'src/config/auido2exp.yaml', 'pirender_yaml_path': 'src/config/facerender_pirender.yaml', 'pirender_checkpoint': 'checkpoints/epoch_00190_iteration_000400000_checkpoint.pt', 'use_safetensor': True, 'mappingnet_checkpoint': 'checkpoints/mapping_00229-model.pth.tar', 'facerender_yaml': 'src/config/facerender.yaml'}
load [net_G] and [net_G_ema] from checkpoints/epoch_00190_iteration_000400000_checkpoint.pt
/tmp/gradio/5721435e2f98be9c384c6b779b11bd43e3f8b898/image.png
landmark Det:: 100%|██████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.66s/it]
3DMM Extraction In Video:: 100%|██████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.31s/it]
mel:: 100%|████████████████████████████████████████████████████████████████████████████| 348/348 [00:00<00:00, 96958.80it/s]
audio2exp:: 100%|███████████████████████████████████████████████████████████████████████████| 35/35 [00:02<00:00, 13.15it/s]
FaceRender:: 78%|████████████████████████████████████████████████████████▍ | 273/348 [00:14<00:02, 36.16it/s]/AppleInternal/Library/BuildRoots/90c9c1ae-37b6-11ee-a991-46d450270006/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShaders/MPSCore/Types/MPSNDArray.mm:126: failed assertion `[MPSNDArrayDescriptor sliceDimension:withSubrange:] error: the range subRange.start + subRange.length does not fit in dimension[2] (348)'
zsh: abort sudo python app_sadtalker.py
请问这个是什么原因?
Guys, for M1/M2 Apple silicon, please refer to this link, you'll be amazed: #457 请参考上面的链接,在Apple Silicon上面特别慢的原因是Conv3D暂时没有针对苹果的优化版本。所以用pirender分支,切换成使用PIRender来生成人脸。速度提高非常明显。
在按照指引的方式使用pirender分支执行的过程中:
tts_models/multilingual/multi-dataset/xtts_v2 is already downloaded. Using model: xtts Running on local URL: http://127.0.0.1:7860
To create a public link, set
share=True
inlaunch()
. using safetensor as default {'checkpoint': 'checkpoints/SadTalker_V0.0.2_256.safetensors', 'dir_of_BFM_fitting': 'src/config', 'audio2pose_yaml_path': 'src/config/auido2pose.yaml', 'audio2exp_yaml_path': 'src/config/auido2exp.yaml', 'pirender_yaml_path': 'src/config/facerender_pirender.yaml', 'pirender_checkpoint': 'checkpoints/epoch_00190_iteration_000400000_checkpoint.pt', 'use_safetensor': True, 'mappingnet_checkpoint': 'checkpoints/mapping_00229-model.pth.tar', 'facerender_yaml': 'src/config/facerender.yaml'} load [net_G] and [net_G_ema] from checkpoints/epoch_00190_iteration_000400000_checkpoint.pt /tmp/gradio/5721435e2f98be9c384c6b779b11bd43e3f8b898/image.png landmark Det:: 100%|██████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.66s/it] 3DMM Extraction In Video:: 100%|██████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.31s/it] mel:: 100%|████████████████████████████████████████████████████████████████████████████| 348/348 [00:00<00:00, 96958.80it/s] audio2exp:: 100%|███████████████████████████████████████████████████████████████████████████| 35/35 [00:02<00:00, 13.15it/s] FaceRender:: 78%|████████████████████████████████████████████████████████▍ | 273/348 [00:14<00:02, 36.16it/s]/AppleInternal/Library/BuildRoots/90c9c1ae-37b6-11ee-a991-46d450270006/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShaders/MPSCore/Types/MPSNDArray.mm:126: failed assertion `[MPSNDArrayDescriptor sliceDimension:withSubrange:] error: the range subRange.start + subRange.length does not fit in dimension[2] (348)' zsh: abort sudo python app_sadtalker.py请问这个是什么原因?
我也遇到了这个问题,调整了资源和参数都不行,请问找到解决办法了吗?
有M2上加速成功的吗?
有什么加快生成速度的解决办法吗?求助 @vinthony