search

0nutation / SpeechGPT

SpeechGPT Series: Speech Large Language Models
https://0nutation.github.io/SpeechGPT.github.io/
Apache License 2.0
1.24k stars 83 forks source link

非常棒的多模态工作 #31

Open Theweekfoolish229 opened 4 months ago

Theweekfoolish229 commented 4 months ago

您好作者： 有个问题需要请教您一下，如果想用大模型做统一的ASR\TTS\STT(translate)\情感分析等。在您原始数据格式中 { "prefix": "XXXXXXXXXX", "plain_text": "[Human]: XXXXXXXXXX.<eoh> [SpeechGPT]: <sosp><XXXX><XXXX><eosp><eoa> " },

如果另加入类似于比如：
         `    {
    "prefix": "XXXXXXXXXX",
    "plain_text": "[Human]: XXXXXXXXXX.<eoh> [SpeechGPT]: <sosp><XXXX><XXXX><eosp><eoa> [音频情感描述]:XXXXX"
},`
另外，如果多种语言的话，同样的问答对以及音频，各种语言的问答对也得在数据集中包含吧？