search

yuanxiaosc / Entity-Relation-Extraction

Entity and Relation Extraction Based on TensorFlow and BERT. 基于TensorFlow和BERT的管道式实体及关系抽取，2019语言与智能技术竞赛信息抽取任务解决方案。Schema based Knowledge Extraction, SKE 2019
https://yuanxiaosc.github.io/2019/05/17/多关系抽取研究/
1.22k stars 271 forks source link

如何输出最佳模型？ #61

Closed Gavingx closed 3 years ago

Gavingx commented 3 years ago

bert里面estimator都是封装好的高级API，只能等所有的epochs都跑完之后才会跑验证集，这样根本没法知道保存的哪个ckpt是在验证集上表现最佳的，请问如何在每保存一个ckpt之后验证一次？ 或者作者是怎么测试的，能分享一下吗？ 谢谢！

yuanxiaosc commented 3 years ago

bert里面estimator都是封装好的高级API，只能等所有的epochs都跑完之后才会跑验证集，这样根本没法知道保存的哪个ckpt是在验证集上表现最佳的，请问如何在每保存一个ckpt之后验证一次？ 或者作者是怎么测试的，能分享一下吗？ 谢谢！

我的经验是，当训练结果还不稳定时直接看训练过程中的表现即可（在测试集的准确率、auc等等），等到效果稳定时，再加载模型用测试模式。至于你说的问题可以通过设置训练epoch数量，或者另外加载模型（最新的ckpt文件）跑测试集