请求论文中结果的参数设置

[wxl1351641822]

我按论文中写的设置，并不能得到论文中的结果……请问是存在什么问题吗？ webNLG_partial

Best result on test set is 0.930512 achieving at epoch 8
python -m main --bert_directory /data/home/wuyuming/wxl/pretrained_models/bert-base-cased \
--batch_size 4 \
--num_generated_triples 10 \
--na_rel_coef 0.25 \
--max_grad_norm 20 \
--max_epoch 100 \
--encoder_lr 0.00002 \
--decoder_lr 0.00005 \
--num_decoder_layers 3 \
--max_span_length 10 \
--weight_decay 0.000001 \
--lr_decay 0.02 \
--refresh True \
--visible_gpu 1

webNLG_exact: 同样设置下：Best result on test set is 0.837710 achieving at epoch 98. nyt_exact:在epoch7达到 0.8536778597111341后，recall迅速下降，f1变为0.1…… nyt_partial:在epoch8达到0.8662156396659961后，recall迅速下降，f1变为0.1……

ython -m main --bert_directory /data/home/wuyuming/wxl/pretrained_models/bert-base-cased \
--batch_size 4 \
--num_generated_triples 10 \
--na_rel_coef 0.25 \
--max_grad_norm 20 \
--max_epoch 100 \
--encoder_lr 0.00002 \
--decoder_lr 0.00005 \
--num_decoder_layers 3 \
--max_span_length 10 \
--weight_decay 0.000001 \
--lr_decay 0.02 \
--refresh True \
--visible_gpu 0 \
--train_file ./data/NYT/casrel_data/new_train.json \
--valid_file ./data/NYT/casrel_data/new_valid.json \
--test_file ./data/NYT/casrel_data/new_test.json

[wxl1351641822]

请问可以也求个WebNLG的吗？

[wxl1351641822]

谢谢wxl-------- 原始邮件 --------发件人： DianboWork @.>日期： 2021年12月7日周二 下午2:41收件人： DianboWork/SPN4RE @.>抄送： wxl1351641822 @.>, Author @.>主 题： Re: [DianboWork/SPN4RE] 请求论文中结果的参数设置 (Issue #20)

我找找，会上传的

—You are receiving this because you authored the thread.Reply to this email directly, view it on GitHub, or unsubscribe.Triage notifications on the go with GitHub Mobile for iOS or Android.

[wxl1351641822]

您好，请问之前的日志能否在放一下哇？

[wxl1351641822]

在和之前log相同的nyt_partial下在91epoch得到这个： gold_num = 8110 pred_num = 8078 right_num = 7464 relation_right_num = 7792 entity_right_num = 7527 precision = 0.9239910869026987 recall = 0.9203452527743526 f1_value = 0.9221645663454411 rel_precision = 0.9645951968308988 rel_recall = 0.9607891491985203 rel_f1_value = 0.962688411168767 ent_precision = 0.9317900470413468 ent_recall = 0.9281134401972873 ent_f1_value = 0.929948109710897 Achieving Best Result on Test Set. 参数是： dataset_name : NYT-partial train_file : ./data/NYT/casrel_data/new_train.json valid_file : ./data/NYT/casrel_data/new_valid.json test_file : ./data/NYT/casrel_data/new_test.json generated_data_directory : ./data/generated_data/ generated_param_directory : ./data/generated_data/model_param/ bert_directory : /data/home/wuyuming/wxl/pretrained_models/bert-base-cased partial : False model_name : Set-Prediction-Networks num_generated_triples : 15 num_decoder_layers : 3 matcher : avg na_rel_coef : 1.0 rel_loss_weight : 1 head_ent_loss_weight : 2 tail_ent_loss_weight : 2 fix_bert_embeddings : True batch_size : 8 max_epoch : 100 gradient_accumulation_steps : 1 decoder_lr : 2e-05 encoder_lr : 1e-05 lr_decay : 0.01 weight_decay : 1e-05 max_grad_norm : 1.0 optimizer : AdamW n_best_size : 100 max_span_length : 10 refresh : True use_gpu : True visible_gpu : 1 random_seed : 1

请问我这边设置上是否存在什么错漏？

[DianboWork]

和论文中报告的92.5已经差距很小了，这0.3差异可能是随机数造成的