为什么在Plus版本的sft中改变了Lora Rank？

[nuoma]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
• [X] 我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• [X] 第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案
• [X] 模型正确性检查：务必检查模型的SHA256.md，模型不对的情况下无法保证效果和正常运行

问题类型

模型训练与精调

基础模型

LLaMA-Plus-7B

操作系统

Linux

详细描述问题

你好，为什么在Plus版本的sft中改变了Lora Rank？我在您的report中并没有看到相关的讨论。

第一版您用了2M to 3M的SFT，第二版您用了4M to 4.3M的SFT。所以从文章中很难看出是SFT的数量导致涨点，还是Lora Rank起了作用。

麻烦可以分享一下您这么做的原因吗？谢谢！

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况

运行日志或截图

# 请在此处粘贴运行日志

[ymcui]

两个原因：1）希望有更多可训练参数；2）初步实验结果r64优于r8。 但至于是不是r64一定优于r8，这个没有明确结论，没有做point-to-point实验。 另外，从训练效果的角度来看r64并没有比r8带来太多的负担，所以综合以上选择r64。

[nuoma]

好的，那是不是在预训练阶段也可以尝试干这件事情？no harm to try 谢谢解答，看来我还需要做更多的实验。

[airaria]

好的，那是不是在预训练阶段也可以尝试干这件事情？no harm to try 谢谢解答，看来我还需要做更多的实验。

是的，在Chinese-LLaMA-2项目中，预训练阶段的lora rank设置成了和plus模型中的一样的64