search

gpt-omni / mini-omni

open-source multimodal large language model that can hear, talk while thinking. Featuring real-time end-to-end speech input and streaming audio output conversational capabilities.
https://arxiv.org/abs/2408.16725
MIT License
3.06k stars 273 forks source link

文本转语音是不是无法支持中文？输入中文文本能否输出中文语音？ #57

Closed AngGaGim closed 1 month ago

superFilicos commented 1 month ago

是的，我们的数据集中没有中文

808cn commented 1 month ago

是的， 我也看了 tokenizer.json 文件的内容，好几种语言都有，恰好没有中文。 评论区也是中文最多，希望后面能支持中文。 当然支持中文语音输出工作量和难度要大很多，要从头训练和搞。 也可以依靠开源社区的力量，大家去魔改来支持中文的语音输出。

mini-omni commented 1 month ago

目前版本可能听懂一些中文，但输出只能是英文。中文文本理论上可以输入，但具体效果无法保证。