Closed Mr1994 closed 7 months ago
模型训练与精调
None
Linux
https://huggingface.co/deepseek-ai/deepseek-coder-6.7b-instruct/tree/main 我们现在想训练另外一个模型 那么 run_pt和run_sft.sh 可以训练这个模型吗
# 请在此处粘贴依赖情况(请粘贴在本代码块里)
# 请在此处粘贴运行日志(请粘贴在本代码块里)
原则上llama-2结构(不涉及GQA)的都可以训练。至于你说的模型是否是llama-2结构,请自行了解。 另外,你直接用对应模型提供的精调脚本不是更好吗?
提交前必须检查以下项目
问题类型
模型训练与精调
基础模型
None
操作系统
Linux
详细描述问题
依赖情况(代码类问题务必提供)
运行日志或截图