开源的MoE模型支持中文吗？

deepseek-ai / DeepSeek-MoE

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

MIT License

982 stars 48 forks source link

Closed uloveqian2021 closed 8 months ago

zhang001122 commented 9 months ago

实际测试了支持中文 token中也不少中文词，目前使用 transform的generate做推理希望能尽快适配vllm或者修改为 llama2的基座

luofuli commented 9 months ago

支持的，我们在中英语料上训练的

luofuli commented 9 months ago

vllm正在适配中

zwd003 commented 9 months ago

实际测试了支持中文 token中也不少中文词，目前使用 transform的generate做推理希望能尽快适配vllm或者修改为 llama2的基座

已经支持vllm，请参考https://github.com/vllm-project/vllm/pull/2453