search

OpenGVLab / Ask-Anything

[CVPR2024 Highlight][VideoChatGPT] ChatGPT with video understanding! And many more supported LMs such as miniGPT4, StableLM, and MOSS.
https://vchat.opengvlab.com/
MIT License
2.85k stars 230 forks source link

如何使mvbench推理结果限定为abcd四个选项中的一个？ #172

Open Honey-Mydear opened 1 month ago

Honey-Mydear commented 1 month ago

您好，在mvbench论文中我了解到您使用了“Best Option: (” 这样的插入语以使得模型输出为abcd选项中的一个，代码中也是这样做的。这在videochat2中可以达成限定模型输出的作用。但是在video-chatgpt以及其他视觉语言大模型中，似乎在prompt部分加入“Best Option: (” 这样的插入语之后，模型输出仍为一段话，而非一定对应abcd四个选项，导致很难单纯用accuracy作为评测模型性能的指标。请问该问题您这边是否有解决方案？谢谢！

yinanhe commented 1 month ago

我们使用answer prompt之后，虽然其他模型输出认为一段话，但是去除了前面的空格后，第一个字符仍然是以ABCDE的选项开始的。

xmy0916 commented 3 weeks ago

直接取ABCD对应的token id的prob