Blank output of LLaVA

[Leo-Yuyang]

作者您好，我最近使用了您的数据对llava进行了fully finetune, 我发现对于某些数据集，模型的输出有时会为空，如上图，也就是他并没有选择abcd而是直接没有进行输出。这样的情况导致指标肯定会比较低，我想问下您之前在实验算指标的时候有遇到类似情况嘛？这种是直接算回答错误，还是以某种prompt或者推理方式进行重复推理直到输出abcd选项之中的一个，然后再算指标的呢？感谢您的解答

[zackschen]

嗯嗯，有遇到的，遇到这种直接算回答错误。