ymcui / Chinese-LLaMA-Alpaca-2

中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Apache License 2.0
7.01k stars 571 forks source link

仓库里面包含中文词表扩充相关的代码吗 #497

Closed weiiWill closed 6 months ago

weiiWill commented 6 months ago

提交前必须检查以下项目

问题类型

模型训练与精调

基础模型

Chinese-LLaMA-2 (7B/13B)

操作系统

Linux

详细描述问题

好像没有看到词表扩充相关代码,望指导

依赖情况(代码类问题务必提供)

No response

运行日志或截图

No response

ymcui commented 6 months ago

一代有合并脚本。词表需要自己用sentencepiece训,教程自己去sentencepiece那边看吧。 合并:https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/训练细节#准备工作词表扩充

weiiWill commented 6 months ago

多谢