HarderThenHarder / transformers_tasks

⭐️ NLP Algorithms with transformers lib. Supporting Text-Classification, Text-Generation, Information-Extraction, Text-Matching, RLHF, SFT etc.
https://www.zhihu.com/column/c_1451236880973426688
2.11k stars 376 forks source link

在finetune中,请问save_model的时候,是把glm6b的model和lora训练后的model合并成一个了是吗? #66

Closed GromZhang closed 1 year ago

GromZhang commented 1 year ago

如题,请问这段代码是这个意思吗?是不是在推理的时候也就不用加载两次模型了,比如先加载glm6b,然后在加载lora微调之后的.bin文件。 321

HarderThenHarder commented 1 year ago

是的,所以在 这里 加载模型时直接加载存储的路径即可。

GromZhang commented 1 year ago

是的,所以在 这里 加载模型时直接加载存储的路径即可。

感恩。大佬,我在启动streamlit run playground_local.py --server.port 8001的过程中,出现了如下异常,请问是依赖出现了问题吗?我在使用过程中,是严格按照您提供的软件依赖下载的。 image 我的altair版本情况如下 image

HarderThenHarder commented 1 year ago

看起来像是 streamlit 的问题,我可以提供我使用的 streamlit 版本供您参考,希望能够解决这个问题:

streamlit==1.17.0
altair==4.2.0
GromZhang commented 1 year ago

看起来像是 streamlit 的问题,我可以提供我使用的 streamlit 版本供您参考,希望能够解决这个问题:

streamlit==1.17.0
altair==4.2.0

十分感谢,我刚才也通过降级altair为4.x版本,完成了启动,但是在启动过程中,发现有一个变量是未声明的,能否麻烦您再抽空解答一下,十分感激。 image

HarderThenHarder commented 1 year ago

抱歉,我忘记添加pandas引用。

您需要在 文件开头 添加一行代码即可。

如果您之前没有安装 pandas,可以执行以下命令进行安装:

pip install pandas==1.5.0
GromZhang commented 1 year ago

抱歉,我忘记添加pandas引用。

您需要在 文件开头 添加一行代码即可。

如果您之前没有安装 pandas,可以执行以下命令进行安装:

pip install pandas==1.5.0

感谢,我刚刚入门,承蒙指教。

HarderThenHarder commented 1 year ago

不用客气,加油 :)