Closed MonetCH closed 3 months ago
应该是训练和合并过程有问题,导致模型不完整。
不过既然是精调llama-3,为什么不使用本项目(三代)中的代码进行训练,而是使用二代的代码?
三代代码我们已经测试过没有问题,不需要你提到的修改adapter_config.json
相关参数的步骤就可以正常合并和推理。
您好,因为当初3代的代码还没释出,所以先用2代的代码做尝试,所以有可能是2代和3代的代码不同导致?
不保证2代的代码能适配llama-3,所以建议你使用本项目中的代码来训练llama-3。
了解,感谢
提交前必须检查以下项目
问题类型
模型训练与精调
基础模型
Llama-3-Chinese-8B(基座模型)
操作系统
Linux
详细描述问题
依赖情况(代码类问题务必提供)
运行日志或截图