search

ecoxial2007 / CH-ICL

Candidate-Heuristic In-Context Learning: A New Framework for Enhancing MedVQA with Large Language Models
MIT License
4 stars 2 forks source link

测试结果未达到预期 #2

Open Yujing-Yan opened 1 week ago

Yujing-Yan commented 1 week ago

作者您好，我使用您给出的checkpoints进行测试，结果跟您论文里面的出入比较大。PathVQA实际测试准确率61.9，Slake实际测试准确率85.0，RadVQA实际测试准确率74.3。这个是什么原因呢？ image image 1730301372034

ecoxial2007 commented 1 week ago

您好，论文报告结果的准确率是通过prediction和answer的字符串比对计算，如果prediction和answer互相包含（召回），均算正确，以避免类似“lung”和“left lung”漏计的情况。 PathVQA checkpoint似乎不是我们调参得到的最优值（印象中overall有62.8%，但时隔一年，权重找不见了），你可以调seed和学习率训练试试，如果还有问题可以邮件联系我。