效果复现

[ningpang]

使用本项目复现结果过程中，具体是用roberta-large复现semeveal数据集在8-shot下的结果，Eval/best_f1=0.149，与论文中的相差甚远，且在main.py的line 214（if not args.two_steps: trainer.test()）这里提示No 'test_dataloader()' method defined to run 'Trainer.test'，请问这个是因为公开项目不完整导致的吗？

[njcx-ai]

您好，感谢对本项目的关注。该公开项目发布近一年已经完整。semeveal这个数据集的8-shot情况下结果应该是很高的，Eval/best_f1=0.149这个异常结果甚至低于直接finetune, 首先建议检查下数据切分是否正确（每类8个样本），其次main.py的line 214的报错我们尚且遇到过，可能是调试过程中有些东西缺失，建议重新clone且按照readme尝试下，后续问题欢迎交流。

[CheaSim]

少样本下，建议使用更多的epochs,或者设定更多的max_steps来进行训练。