search

FunAudioLLM / SenseVoice

Multilingual Voice Understanding Model
https://funaudiollm.github.io/
Other
2.61k stars 249 forks source link

SenseVoiceSmall微调是否支撑增加事件/情绪/语言类型 #86

Open Danyuhui opened 1 month ago

Danyuhui commented 1 month ago

SenseVoiceSmall微调是否支撑增加事件/情绪/语言类型？ 经查阅源代码后发现funast/models/sensevoice/model.py中line 640-647中给出了情绪、语言的编码字典，但并没有事件相关的，想请问可以通过微调增加模型能检测的事件/情绪/语言吗？

gaochangfeng commented 1 month ago

SenseVoice预留了specialtoken进行功能扩展，使用[tokenizer.ids2tokens(idx) for idx in range(tokenizer.get_vocab_size()) ]查看, 未使用的token被命名为SPECIAL_TOKEN_X, 建议使用SPECIAL_TOKEN_15之后的token进行扩展