Closed QinQG closed 7 months ago
可以设置更合适的值,具体和数据集大小以及设置的batchsize有关。你可以考虑用early stopping的方式,如果多次验证之后,发现效果没有提升,就停止继续训练。
那这几个参数是什么意思,是否较优
上面的lr
是学习率,l2
是正则项权重,lbl_smooth
是标签平滑的超参,num_workers
是指同时处理数据集的线程数量,seed
是初始化参数的随机种子。下面的restore
是指这次启动代码是不是加载以前训练好的checkpoint,bias
我记得应该是指是否使用网络中Wx+b
的权重参数b
。
如果你要调整训练epoch数量的话,seed
,num_workers
,restore
,bias
这些超参不用调整。可能最需要考虑的超参是学习率。最好是看看别人的超参设置,这是一个经验问题。如果你要处理一个新的数据集,没有合适参考的,可以先用默认值,打印出训练loss图,和验证集上的验证效果图来人工调整超参;或者使用一些超参搜索的自动工具。
学长,我一个同学陈zy叫我代问下“直接运行run.py文件生成的这些是超参的值是么”
运行run.py
,首先就会打印出来设置的所有超参值
学长您好,我想请问下这个epoch默认设置的是500,每9轮会提供一个包含MRR,MR,HIT值的输出结果,最终的结果是要等到500轮全部跑完才能得到么,这个epoch的值修改成更少的会不会有影响。