Open njucckevin opened 2 months ago
已修复,感谢您的反馈。
作者您好,除了在benchmark上测试之外,或许有推理代码可供参考吗?即对于预训练的ckpt或微调之后的ckpt,进行简单的单样本推理。或者我应该参考哪个仓库/模型的代码? 很棒的工作,感谢~
作者您好,除了在benchmark上测试之外,或许有推理代码可供参考吗?即对于预训练的ckpt或微调之后的ckpt,进行简单的单样本推理。或者我应该参考哪个仓库/模型的代码? 很棒的工作,感谢~
您可以使用src/vlrlhf/eval.utils.py
中提供的相关接口:
from vlrlhf.eval.utils import load_model_and_processor
model,processor,generation_kwargs = load_model_and_processor(YourModelPath,None)
image_path = 'a.jpg'
prompt = 'Describe this image'
prompt = processor.format_multimodal_prompt(prompt,image_path)
inputs = processor(texts=[prompt], images_path=[image_path], check_format=False)
inputs.pop('label',None)
outputs = model.generate(**inputs, use_cache=True, **generation_kwargs)
想问下现在的代码仓库支持KTO吗,我看scripts里面有kto相关的脚本,例如kto_qwenvl?如果还不支持的话,后续有计划吗 感谢~
请问这个报错该如何解决?