search

jwj7140 / Bert-VITS2-Korean

vits2 backbone with multilingual-bert(한국어 지원)
GNU Affero General Public License v3.0
23 stars 1 forks source link

bert-vits2 학습 관련 #1

Open 0913ktg opened 6 months ago

0913ktg commented 6 months ago

안녕하세요 jwj7140님. 저도 bert-vits2 korean을 구현하려고 노력하고 있습니다. 여러 시도를 해봤지만 아직 학습이 제대로 되지 않고 있습니다.

bert feature를 만드는 부분이 잘못되어서 학습이 제대로 안된다고 생각되는데, 혹시 학습에 성공하셨는지 궁굼합니다. 감사합니다.

jwj7140 commented 6 months ago

계속 시도하고 있습니다만, 목소리 자체는 학습하는 것 같은데 제대로 말을 못하네요. loss그래프도 좀 이상하고요. bert-vits2 원본 레포는 huggingface에 공개된 pretrain model에 finetuning하는 구조인데, pretrain 방법 자체가 공개가 안된 것 같습니다. 여기 보면 pretrain은 3-4단계로 학습된다고 하네요 https://github.com/fishaudio/Bert-VITS2/discussions/288 일단 디스커션으로 올리고 답변을 기다리고 있습니다.

0913ktg commented 6 months ago

저도 많은 방법을 시도하고 있습니다. 관련 내용을 공유하면 서로 학습시키는데 도움이 될 것 같은데 혹시 DISCORD나 카카오톡 같은 메신저를 이용해서 연락드릴 수 있을까요?

0913ktg commented 6 months ago

0913ktg@naver.com 제 메일 주소입니다. 연락주시면 감사하겠습니다!

v3ucn commented 6 months ago

BERT-VITS2 v2.3 모델의 기본 모델을 사용하여 훈련하고 계십니까? 기본 모델을 공개하지 않았다는 것을 알려드립니다.

jwj7140 commented 6 months ago

https://discord.gg/fuwUZdmQAW discord 서버를 하나 만들었습니다. 리드미에도 공유하면 좋겠네요.

jwj7140 commented 6 months ago

@v3ucn 기존 기본 모델은 한국어 관련 weight가 없어 finetuning이 불가능합니다. 현재 기본 모델 훈련 방법에 대해 조사하고 있습니다.