jieran233 / CyberWaifu

GPT + Tacotron2/VITS + Live2D = CyberWaifu
MIT License
83 stars 15 forks source link

关于live2d后端 #1

Open Paraworks opened 1 year ago

Paraworks commented 1 year ago

想请教一下如何自定义live2d模型,因为在网页端播放live2d的资料过于庞杂,我目前只能用renpy这种打包好了的应用,无法在服务器上部署我自己的live2d模型。

jieran233 commented 1 year ago

已更新,请查看 Server/Live2D/README.md#custom-live2d-model


其实 Live2D Cubism SDK for Web 我也少有研究,这个项目里的Live2D也都是魔改的别人的,一开始就是拿来用在个人Blog上的,我连官方文档都没看过😂

这里有Live2D官方的中文文档,如果有需要可以看看 https://docs.live2d.com/zh-CHS/cubism-sdk-tutorials/use-sdk-in-js/

Paraworks commented 1 year ago

明白了,那我顺着你的reference去抄一下大佬们的作业。说起来在linux上用onnx效果怎么样,因为搭建vits环境对大多数人来说都挺困难的。

Paraworks commented 1 year ago

我刚刚看到了https://github.com/oh-my-live2d/oh-my-live2d 项目,好像可以支持自定义模型

jieran233 commented 1 year ago

明白了,那我顺着你的reference去抄一下大佬们的作业。说起来在linux上用onnx效果怎么样,因为搭建vits环境对大多数人来说都挺困难的。

没试过,我甚至还在用tacotron2,现在项目也只支持了tacotron2 (Tacotron2+HiFiGAN 推理的代码来自luoyily/MoeTTS,我只是改了改拿来用而已)

其实这个项目本身就是个缝合怪没啥技术含量😂,可以再去看看 NaruseMioShirakana 的工作

Paraworks commented 1 year ago

vits因为cleaner差别太大基本上只有个启动文件能够通用,结果得把所有东西塞到一个端口中

Paraworks commented 1 year ago

抄了一下大佬的作业。live2d后端搞成这样就可以了?我整不明白怎么给她传递语音参数来说话

jieran233 commented 1 year ago

抄了一下大佬的作业。live2d后端搞成这样就可以了?我整不明白怎么给她传递语音参数来说话

啊这,其实我还没打算实现给Live2D传递参数来改变动作或是表情,至少目前她就是个花瓶🫠

安全起见,帮你把你的服务器地址删了(

Paraworks commented 1 year ago

谢谢了。寻思之后套上cubism for web里的对口型功能应该就不用录入太多动作了, https://docs.live2d.com/zh-CHS/cubism-sdk-manual/lipsync/ 。有望人手一个neuro()