iflytek / MiniRBT

MiniRBT (中文小型预训练模型系列)
Apache License 2.0
246 stars 16 forks source link

请问是否支持英文或者中英混合? #5

Open Jackiexiao opened 10 months ago

Jackiexiao commented 10 months ago

因为实际场景中经常有中英混合的文本,请问这个模型是否支持英文或者中英混合?

ymcui commented 10 months ago

建议你自行尝试。主要场景还是处理中文文本。 不排除能处理一些英文,但相比纯英文的模型效果应该是要差一些的。

Jackiexiao commented 10 months ago

非常感谢你的解答, 我还想请教一下现在支持多语种,参数量较小,推理速度快的 bert 或者 bert 的变种有什么?

我目前只找到一个 hugging face 的 distilbert-base-multilangual, 还有一个 https://huggingface.co/microsoft/Multilingual-MiniLM-L12-H384

我的使用场景是 bert-vits2 ,但是支持多语种

wencan commented 6 months ago

@Jackiexiao albert了解下 比如 uer/albert-base-chinese-cluecorpussmall