Open IcyFeather233 opened 1 month ago
infer阶段VLLM使用很正常,但是eval阶段就会卡住了,模型本身的推理也没有问题
如果不使用VLLM,在eval阶段使用HuggingFace也没有问题
另外,CritiqueLLM 已经开源,CritiqueLLM 是Alignbench论文作者自己训练的替代gpt4来评测的模型,https://github.com/thu-coai/CritiqueLLM ,希望 OpenCompass 可以把这个模型更新到 AlignBench 中
感谢您的建议,我们会尽快测试该模型并支持,正常的话eval阶段vllm也是没问题的,你可以试下用其他模型在eval阶段用vllm推理,可能是这个模型跟OpenCompass的vllm不适配,我们这边也会尽快验证这个事情。
@liushz 谢谢回复,经过我的测试,很多模型在eval阶段都无法使用vllm推理,我试过Qwen也不行
有些奇怪,eval起model的逻辑应该是和infer过程一样的,Qwen用vllm的时候是什么样的报错呢
此外critiquellm看起来也是hf格式的,直接用现有的config使用起来会遇到什么问题吗
有些奇怪,eval起model的逻辑应该是和infer过程一样的,Qwen用vllm的时候是什么样的报错呢
一样的,也是卡住不动了
此外critiquellm看起来也是hf格式的,直接用现有的config使用起来会遇到什么问题吗
hf用起来没有问题,缺点就是慢,所以我想用vllm试试
你vllm的版本是多少
你vllm的版本是多少
0.4.2
问题应该出现在 https://github.com/open-compass/opencompass/blob/edab1c07baaebe3e6b6b48983d56656f6c93fd76/opencompass/models/vllm_with_tf_above_v4_33.py#L64, 但应该是VLLM自身有奇奇怪怪的问题,参考https://github.com/vllm-project/vllm/issues/4974
先决条件
问题类型
我正在使用官方支持的任务/模型/数据集进行评估。
环境
重现问题 - 代码/配置示例
config 文件:
重现问题 - 命令或脚本
重现问题 - 错误信息
第一次报错了,第二次我使用
-m eval -r xxx
复用之前的 prediction 结果,单独运行 eval 还是报下面的错其他信息
No response