Closed ningpang closed 1 year ago
您好,感谢对本项目的关注。该公开项目发布近一年已经完整。semeveal这个数据集的8-shot情况下结果应该是很高的,Eval/best_f1=0.149这个异常结果甚至低于直接finetune, 首先建议检查下数据切分是否正确(每类8个样本),其次main.py的line 214的报错我们尚且遇到过,可能是调试过程中有些东西缺失,建议重新clone且按照readme尝试下,后续问题欢迎交流。
少样本下,建议使用更多的epochs
,或者设定更多的max_steps
来进行训练。
使用本项目复现结果过程中,具体是用roberta-large复现semeveal数据集在8-shot下的结果,Eval/best_f1=0.149,与论文中的相差甚远,且在main.py的line 214(if not args.two_steps: trainer.test())这里提示No 'test_dataloader()' method defined to run 'Trainer.test',请问这个是因为公开项目不完整导致的吗?