THUDM / ChatGLM-6B

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
Apache License 2.0
39.96k stars 5.15k forks source link

[Feature] 增加ptuning中的原始模型评价代码 #1478

Open Zylsjsp opened 1 month ago

Zylsjsp commented 1 month ago

Is your feature request related to a problem? Please describe.

No response

Solutions

readme里面给出了三种微调的方法,其中两种微调的评估代码也给在了仓库里,但是缺少对未微调的原始模型进行评估的脚本

个人简单看了看代码,想要测试原始模型于是尝试了几个命令行参数的组合,发现去除了--pre_seq_len后似乎会选择运行全量微调(或者其评估),由于显存不够没能成功运行。 同时我还发现似乎在p-tuning的设置中修改checkpoint的路径,能够运行一个疑似对原始模型进行的评估,生成的结果有些类似于直接运行模型进行生成的响应,想要和编写main.py代码的小伙伴确认一下我的想法是否正确,这种方式是不是在对原始模型进行评估

Additional context

顺便问一下 fine-tuning的代码没法在量化模型下运行,Python会报类型不匹配的错误,这个也符合预期吗,还是说代码有待改进? No response