deepseek-ai / DeepSeek-LLM

DeepSeek LLM: Let there be answers
https://chat.deepseek.com/
MIT License
1.33k stars 87 forks source link

DeepSeek 7B Chat Lora 效果太棒了! #12

Open KMnO4-zx opened 7 months ago

KMnO4-zx commented 7 months ago

尊敬的DeepSeek团队:

我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程,而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而,在我实测了Lora微调的效果之后,我感到非常佩服你们团队的工作。

我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色,这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验,并将其发布在GitHub上。如果需要,我可以将其整理成脚本形式,并提交PR。

再次感谢你们团队的工作,期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程 地址:https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md 仓库地址:https://github.com/datawhalechina/self-llm.git

yucc-leon commented 7 months ago

好奇,这个太棒了是相对其他同尺寸开源模型来说吗?另外你们的项目看上去已经涉及了很多开源模型的微调,有什么选型或者微调中的发现可以分享吗?

KMnO4-zx commented 7 months ago

好奇,这个太棒了是相对其他同尺寸开源模型来说吗?另外你们的项目看上去已经涉及了很多开源模型的微调,有什么选型或者微调中的发现可以分享吗?

尝试对chat-嬛嬛训练了1/3的epoch,发现效果出奇的好,没有遗忘知识,也能很好的按照嬛嬛语气对话。如果你有更多想要了解的,可以来看我们仓库中关于deepseek lora训练部分。https://github.com/datawhalechina/self-llm.git

luofuli commented 7 months ago

尊敬的DeepSeek团队:

我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程,而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而,在我实测了Lora微调的效果之后,我感到非常佩服你们团队的工作。

我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色,这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验,并将其发布在GitHub上。如果需要,我可以将其整理成脚本形式,并提交PR。

再次感谢你们团队的工作,期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程 地址:https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md 仓库地址:https://github.com/datawhalechina/self-llm.git

欢迎提交PR~

KMnO4-zx commented 7 months ago

尊敬的DeepSeek团队: 我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程,而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而,在我实测了Lora微调的效果之后,我感到非常佩服你们团队的工作。 我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色,这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验,并将其发布在GitHub上。如果需要,我可以将其整理成脚本形式,并提交PR。 再次感谢你们团队的工作,期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程 地址:https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md 仓库地址:https://github.com/datawhalechina/self-llm.git

欢迎提交PR~

好的,感谢认可~