[wenet/utils] add kemans in torch with wenet

wenet-e2e / wenet

Production First and Production Ready End-to-End Speech Recognition Toolkit

https://wenet-e2e.github.io/wenet/

Apache License 2.0

3.87k stars 1.03k forks source link

[wenet/utils] add kemans in torch with wenet #2545

Open Mddct opened 1 month ago

Mddct commented 1 month ago

kmeans 是个常用的工具，这里实现了在wenet的speech model基础上进行online 提特征用途： speech encoder 聚类离散化id -> LLM 语音理解（asr等） hubert/w2vbert 聚类，离散化 semantic token -> tts 的semantic 等

TODO:

[ ] 将kmeans 的class 放入其他文件中，因为kmeans 会作为一些codec/ssl 模型训练时候的初始化

Mddct commented 1 month ago

it works ！ aishell 8gpu

Mddct commented 3 weeks ago

encode save to file works