search

CrystalSixone / DSRG

Code for A Dual Semantic-Aware Recurrent Global-Adaptive Network For Vision-and-Language Navigation
MIT License
15 stars 0 forks source link

REVERIE dataset的复现结果 #5

Closed jasscia18 closed 1 year ago

jasscia18 commented 1 year ago

您好，我按照[README.md]对REVERIE数据集进行了重新微调，但结果与论文相差很多。 LCTBKBG1M~_5ZV EPX%WH@5 您可以帮我看看是哪里出现的问题吗？我使用了作者上传的model_step_best_148000.pt，由于网络原因离线下载了distilbert-base-uncased的【config.json，pytorch_model.bin，vocab.txt】。放到了这两个地方，其他地方与论文一致。 P0~IM 4R30M%5I5J 8WBO5A 0QPX(0@NFQ (JX7TW2JTI9G

CrystalSixone commented 1 year ago

是否是因为没有正确加载category_mapping.tsv和object_bbox_v2.json的原因？我已在Readme中修正了这两个文件的路径。

jasscia18 commented 1 year ago

您好，我已经正确加载了category_mapping.tsv和object_bbox_v2.json，但还是不能复现出论文的结果。我考虑是不是因为下面的原因？在vlnbert_init.py中的 image 我在训练时，一直报错显示 image 所以，我把代码修改为了 image 请问这样修改是否可以？应该怎么修改？

CrystalSixone commented 1 year ago

那应该是预训练模型没有正确加载，可以在训练的时候传入--eval_first参数，检查下微调前的预训练模型性能。 你截图中的那段代码是通过state_dict=new_ckpt_weights加载预训练模型的。 出现报错应该是版本问题导致的，我建议您尝试下修改对应库的版本和requirements.txt中提供的一致。

jasscia18 commented 1 year ago

非常感谢！！！