heygen video translation - Githubissues

Chenyme / Chenyme-AAVT

这是一个全自动（音频）视频翻译项目。利用Whisper识别声音，AI大模型翻译字幕，最后合并字幕视频，生成翻译后的视频。

MIT License

736 stars 73 forks source link

heygen video translation #8

Open echokk11 opened 4 months ago

echokk11 commented 4 months ago

假如再大胆一点

whisper解决语音到字幕的问题
LLMs(chatgpt,google translate)解决多国语言翻译问题
MockingBird或者so-vits-svc-fork训练原配角色音色(声纹)
根据分析出的文本时间轴，利用ffmpeg分割不同音色的视频到片段，同时用训练好的原配角色音色按照翻译后的文本生成音轨
(可选)再用GeneFace++或者Wav2Lip对应的口型矫正
最后合并回去(ffmpeg)

这个是不是就是heygen video translation的大致实现思路，当然我是一个rookie，真的过程想必远比这个复杂，这里最大的难点是，如何识别出不同的声音的前后时间轴，中间还有相关的去背景音，识别误差校准等很多问题

Chenyme commented 4 months ago

您好！非常感谢你的建议，我会尝试去复现这个流程，但由于学业压力我不得不会放缓项目进展。此外，内部消息说国内剪映在卷数字人，年底应该会有很好的开源方案。再次谢谢你的建议～