v-nhandt21 / Viphoneme

Vi_G2P or ViG2P: G2P package for Vietnamese: based on vPhon and phonology knowledge to convert Raw text - Graphoneme to IPA
Other
65 stars 16 forks source link

Hỏi về cách gắn vào tacotron2 #2

Open dugduy opened 1 year ago

dugduy commented 1 year ago

Chào bạn, mình thấy viphoneme sẽ có thể sửa được tình trạng nói ngọng của mô hình tacotron2 khi training bằng tiếng Việt. Mình đã thử thay thế symbols của tacotron2 và trong file list training thành dạng ipa rồi. Nhưng nó không hoạt động. Bạn giúp mình với!

v-nhandt21 commented 1 year ago

Hi bạn, bạn tham khảo cách apply viphoneme cho E2E TTS models ở đây nha, có lỗi gì thì nhắn mình: https://github.com/v-nhandt21/ViSV2TTS/blob/bea6fa1f85527c824c85986d8b7bfa3e3efd120a/synthesizer/utils/vitext.py#L32

dugduy commented 1 year ago

Hi bạn, bạn tham khảo cách apply viphoneme cho E2E TTS models ở đây nha, có lỗi gì thì nhắn mình: https://github.com/v-nhandt21/ViSV2TTS/blob/bea6fa1f85527c824c85986d8b7bfa3e3efd120a/synthesizer/utils/vitext.py#L32

Có phải là mình cần thay cái text2seq của cái tacotron2 thành cái text2seq của viphoneme không?

P/s: còn cái repo đó của bạn (visv2tts) mình chưa biết cách training, cái phần https://github.com/v-nhandt21/ViSV2TTS#preprocess-data mình vẫn chưa hiểu lắm, bạn thêm ví dụ vào cho dễ hiểu nha!

v-nhandt21 commented 1 year ago

Hi bạn, bạn tham khảo cách apply viphoneme cho E2E TTS models ở đây nha, có lỗi gì thì nhắn mình: https://github.com/v-nhandt21/ViSV2TTS/blob/bea6fa1f85527c824c85986d8b7bfa3e3efd120a/synthesizer/utils/vitext.py#L32

Có phải là mình cần thay cái text2seq của cái tacotron2 thành cái text2seq của viphoneme không?

P/s: còn cái repo đó của bạn (visv2tts) mình chưa biết cách training, cái phần https://github.com/v-nhandt21/ViSV2TTS#preprocess-data mình vẫn chưa hiểu lắm, bạn thêm ví dụ vào cho dễ hiểu nha!

À visv2tts bạn đừng quan tâm, mình chỉ gửi ví dụ các tạo phoneme và đặc biệt symbols bạn phải lấy list các phoneme á

PS: Nếu như bạn dùng Tacotron2 thì data ít nhất 15h mới tốt được he, do nó khó hội tụ