老哥这比赛能做K-flod吗，提交的时候要提交K个模型吗

rogerrojur / tianchi-multi-task-nlp

NLP中文预训练模型泛化能力挑战赛

42 stars 25 forks source link

Open 489597448 opened 3 years ago

rogerrojur commented 3 years ago

不行吧，我的k-flod的意思只是，找这k个模型之中最好的去提交，哈哈

489597448 commented 3 years ago

可是你那个最好模型的在验证集上效果不一定在测试集上效果好吧

489597448 commented 3 years ago

我意思K个模型在不同验证集上的分数不能进行比较吧

rogerrojur commented 3 years ago

感觉上就是选一个验证集最好的然后用非常非常非常小的学习率在（训练集+验证集）上训练一个epoch，瞎猜的，没时间试

489597448 commented 3 years ago

老哥试过三个batch再更新一次参数吗，即每次跑同批量的三种数据集后再更新因为一个batch里面都是同一类的数据