yeyupiaoling / MASR

Pytorch实现的流式与非流式的自动语音识别框架,同时兼容在线和离线识别,目前支持Conformer、Squeezeformer、DeepSpeech2模型,支持多种数据增强方法。
Apache License 2.0
563 stars 100 forks source link

语音识别的拼音输出 #50

Closed tgarm closed 1 year ago

tgarm commented 1 year ago

请问: 有没有支持拼音输出的计划? 或者,如何能方便的输出拼音而非文字?

yeyupiaoling commented 1 year ago

没有哦,直接输出文字的,或者英文单词。 你是什么原因需要输出拼音的呢? 或者可以把中文转换为拼音输入到模型训练,应该可以,但是没有对应的语言模型。

tgarm commented 1 year ago

谢谢! 这种情况下是否需关闭语言模型?或者无需修改?

yeyupiaoling commented 1 year ago

直接使用贪心解码方法就好

tgarm commented 1 year ago

我fork了代码,增加了一个pinyin模式,就是将dataset目录下的 manifest.* 和 vocabulary.txt 内的汉字都转换为拼音了。 但这样训练了之后,输出总是很多<unk><unk>,不知道是否遗漏了什么。

tgarm commented 1 year ago

已解决。感谢支持!

yeyupiaoling commented 1 year ago

输出什么?不清楚你是怎么改的,很难定位问题。

tgarm commented 1 year ago

其实就是汉字的分字和拼音的分字不同。 之前的问题很可能是汉字分字采用的“2字节”一个汉字,而在拼音中,这样就无法对应词汇表中的拼音了。

修改也比较简单,就是增加了按空格分字的模式,并将每个字的最大长度调高。(这样一想,变成英文分词了) 如果有用的话,我生成一个PR。 确实也希望能支持英文识别。

yeyupiaoling commented 1 year ago

一直都支持英文识别啊,你看的是最新新代码 吗?