Closed ninth99 closed 2 months ago
您好,感谢您的提问! 我们的模型在 opencompass 各项 benchmark 上的分数都是基于 eval_mm/vlmevalkit 目录进行评测的,具体评测方法请参考 https://github.com/OpenBMB/MiniCPM-V/blob/main/eval_mm/README_zh.md#opencompass。我们可以确保在 8 卡情况下复现出同样的结果。 以下是我们在评测时使用的环境:
您好,感谢您的提问! 我们的模型在 opencompass 各项 benchmark 上的分数都是基于 eval_mm/vlmevalkit 目录进行评测的,具体评测方法请参考 https://github.com/OpenBMB/MiniCPM-V/blob/main/eval_mm/README_zh.md#opencompass。我们可以确保在 8 卡情况下复现出同样的结果。 以下是我们在评测时使用的环境: