有无计划预训练一下mistral-7b

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用

https://llama.family

14.01k stars 1.26k forks source link

Closed longgui0318 closed 1 year ago

longgui0318 commented 1 year ago

mistral-7b 速度质量都不错，不过对中文支持上，还有些问题，集中在某些常用词字不理解上，有无计划做个轻量点的预训练模型？