search

liuxiyang641 / RAGAT

RAGAT: Relation Aware Graph Attention Network for Knowledge Graph Completion
56 stars 16 forks source link

训练环境 #20

Closed QinQG closed 7 months ago

QinQG commented 7 months ago

学长您好，我想请问下这个epoch默认设置的是500，每9轮会提供一个包含MRR，MR,HIT值的输出结果，最终的结果是要等到500轮全部跑完才能得到么，这个epoch的值修改成更少的会不会有影响。

liuxiyang641 commented 7 months ago

可以设置更合适的值，具体和数据集大小以及设置的batchsize有关。你可以考虑用early stopping的方式，如果多次验证之后，发现效果没有提升，就停止继续训练。

QinQG commented 7 months ago

aa59e10715cf13d10cdbbcbd381bab79 那这几个参数是什么意思，是否较优

liuxiyang641 commented 7 months ago

上面的lr是学习率，l2是正则项权重，lbl_smooth是标签平滑的超参，num_workers是指同时处理数据集的线程数量，seed是初始化参数的随机种子。下面的restore是指这次启动代码是不是加载以前训练好的checkpoint，bias我记得应该是指是否使用网络中Wx+b的权重参数b。 如果你要调整训练epoch数量的话，seed，num_workers，restore，bias这些超参不用调整。可能最需要考虑的超参是学习率。最好是看看别人的超参设置，这是一个经验问题。如果你要处理一个新的数据集，没有合适参考的，可以先用默认值，打印出训练loss图，和验证集上的验证效果图来人工调整超参；或者使用一些超参搜索的自动工具。

QinQG commented 7 months ago

学长，我一个同学陈zy叫我代问下“直接运行run.py文件生成的这些是超参的值是么”

liuxiyang641 commented 7 months ago

运行run.py，首先就会打印出来设置的所有超参值