扩充词表后对新添加token初始化的方式

[YoLo-MUC]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• [X] 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。

问题类型

其他问题

基础模型

Chinese-LLaMA-2 (7B/13B)

操作系统

Linux

详细描述问题

老师您好，请问对原32000的词表扩充后，对新添加的token在模型的embedding层和lm_head层初始化的方式是什么呢？

我看他人有做均值扩充、随机扩充和带噪均值扩充，但是不知道有什么选择技巧，想请教下老师的看法和咱们LLaMA2-Chinese所选择的方式，谢谢老师！

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[ymcui]

均值初始化效果相对较好。

[YoLo-MUC]

均值初始化效果相对较好。

好的，谢谢老师