search

mindspore-lab / mindnlp

Easy-to-use and high-performance NLP and LLM framework based on MindSpore, compatible with models and datasets of 🤗Huggingface.
https://mindnlp.cqu.ai/
Apache License 2.0
675 stars 180 forks source link

mindnlp接口问题——mindnlp.peft.tuners.lora.layer的类Linear没有to属性导致使用报错 #1660

Closed Helloyouth2022 closed 1 week ago

Helloyouth2022 commented 2 weeks ago

还是上次那个问题，上次没有说明清楚使用两个版本的mindnlp（0.3.1和0.4）都一样使用报错：https://github.com/mindspore-lab/mindnlp/issues/1599

2 3

使用IA3微调算法可正常运行： 1

目前是否是mindnlp接口本身的问题？另外，许多模型是否可以用IA3代替Lora进行微调？

lvyufeng commented 2 weeks ago

按照任务要求来，有问题需要自己尝试修复。或者等我fix掉

lvyufeng commented 2 weeks ago

要和huggingface的一致，不能使用其他微调算法

Helloyouth2022 commented 2 weeks ago

好吧，我这边可能还没说清楚问题，当前的任务（https://gitee.com/mindspore/community/issues/IA5LDO）是微调的演示示例，不涉及huggingface的要求，只是演示微调算法的使用；我这边只是为了说明任务使用到模型以及mindnlp的官方教程中的例子都出现了报错； 现在任务先放一边，您还没回答最重要的问题，就是根据issue的描述，是否能确认是mindnlp的LoraConfig接口本身的问题？因为在mindnlp的正式发布的最新版本0.3.1和预发布的0.4版本中都同样出现的报错！

Helloyouth2022 commented 2 weeks ago

好吧，我这边可能还没说清楚问题，当前的任务(https://gitee.com/mindspore/community/issues/IA5LDO) 是微调的演示示例，不涉及huggingface的要求，只是演示微调算法的使用；我这边只是为了说明任务使用到模型以及mindnlp的官方教程中的例子都出现了报错； 现在任务先放一边，您还没回答最重要的问题，就是根据issue的描述，是否能确认是mindnlp的LoraConfig接口本身的问题？因为在mindnlp的正式发布的最新版本0.3.1和预发布的0.4版本中都同样出现的报错！

Helloyouth2022 commented 2 weeks ago

最新状态：mindspore和mindnlp分别使用最新的2.3.1和0.4，可以跑通lora了。 mmexport1726714427116

但还是存在两个问题： 1️⃣2.3.1的mindspore不兼容在Windows平台和CPU，这样对微调算法的使用限制更高了； 2️⃣gitee上mindnlp的版本兼容性描述可能不太正确，需要更新：https://gitee.com/mindspore-lab/mindnlp mmexport1726714428925

lvyufeng commented 1 week ago

fixed