search

jingyaogong / minimind

「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！
https://jingyaogong.github.io/minimind
Apache License 2.0
2.7k stars 329 forks source link

fix 5-dpo_train.py bugs #63

Closed StudyingLover closed 1 month ago

StudyingLover commented 1 month ago

https://github.com/jingyaogong/minimind/issues/57

jingyaogong commented 1 month ago

1."minimind"并非只有"minimind-v1-small"还有"minimind-v1"、"minimind-v1-moe"以及其它任何形式命名的导出的文件路径，这里自行改动。

2.已写明项目的库版本 trl==0.8.6，遇到的 'NoneType' object has no attribute 'model_init_kwargs' 在更新的 trl>0.8.6 时才会出现。

二者均非bug

StudyingLover commented 1 month ago

感谢答疑。 此外，关于dpo训练之后的权重的使用大佬可以在readme更新一下吗？

---Original--- From: @.> Date: Fri, Oct 11, 2024 14:12 PM To: @.>; Cc: "Zhao @.**@.>; Subject: Re: [jingyaogong/minimind] fix 5-dpo_train.py bugs (PR #63)

1."minimind"并非只有"minimind-v1-small"还有"minimind-v1"、"minimind-v1-moe"以及其它任何形式命名的导出的文件路径，这里自行改动。

2.已写明项目的库版本 trl==0.8.6，遇到的问题在更新的 trl>0.8.6 时才会出现。

二者均非bug

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

jingyaogong commented 1 month ago

感谢答疑。 此外，关于dpo训练之后的权重的使用大佬可以在readme更新一下吗？ … ---Original--- From: @.> Date: Fri, Oct 11, 2024 14:12 PM To: @.>; Cc: "Zhao @.**@.>; Subject: Re: [jingyaogong/minimind] fix 5-dpo_train.py bugs (PR #63) 1."minimind"并非只有"minimind-v1-small"还有"minimind-v1"、"minimind-v1-moe"以及其它任何形式命名的导出的文件路径，这里自行改动。 2.已写明项目的库版本 trl==0.8.6，遇到的问题在更新的 trl>0.8.6 时才会出现。 二者均非bug — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

@StudyingLover https://github.com/jingyaogong/minimind?tab=readme-ov-file#-rlhf%E7%AF%87