proton复现结果不一致

[zswuser]

你好，我在复现proton时始终没有复现到论文中的效果，我的步骤如下： 1.将run_preprocessing.sh文件中关于train的注释取消 2.配置好相关文件与环境(环境是cu117的适配版本) 3.运行./run/run_preprocessing.sh 4.运行./run/run_lgesql_plm.sh msde electra-large-discriminator 但是结果如下：

[huybery]

请您再仔细检查下超参数及环境配置，其他读者复现结果没有问题，如果有需要，我们可以上传训练好的 ckpt 供您测试。

[huybery]

BTW，您的机器型号是？我们当时用的 V100，可能是个变量。

[zswuser]

你好，我的机器使用的是3090，而我的环境是cu117在成功复现经典lgesql（75.3%）的基础上增加了运行proton所需的库geoopt==0.5.0。 我的参数配置文件并未修改，具体如下： task=lgesql_large seed=999 device=0 testing='' #'--testing' read_model_path=''

model=lgesql output_model=with_pruning # without_pruning local_and_nonlocal=$1 # mmc, msde, local plm=$2 subword_aggregation=attentive-pooling schema_aggregation=head+tail gnn_hidden_size=512 gnn_num_layers=8 relation_share_heads='--relation_share_heads' score_function='affine' num_heads=8 dropout=0.2 attn_drop=0.0 drop_connect=0.2

lstm=onlstm chunk_size=8 att_vec_size=512 sep_cxt='' lstm_hidden_size=512 lstm_num_layers=1 action_embed_size=128 field_embed_size=64 type_embed_size=64 no_context_feeding='--no_context_feeding' no_parent_production_embed='' no_parent_field_embed='' no_parent_field_type_embed='' no_parent_state=''

batch_size=20 grad_accumulate=5 lr=1e-4 layerwise_decay=0.8 l2=0.1 smoothing=0.15 warmup_ratio=0.1 lr_schedule=linear eval_after_epoch=120 # 120 max_epoch=200 # 200 max_norm=5 beam_size=5

[zswuser]

麻烦您确认一下我的操作步骤及其他设置无误，然后也请上传ckpt用于测试。

[huybery]

https://bird-bench.oss-cn-beijing.aliyuncs.com/psp_elec_pincare_ckpt.zip

您测试下这个 ckpt 是否符合预期。

[zswuser]

感谢上传ckpt，请问我的操作步骤和设置有错误吗？

[huybery]

单纯看超参比较难看出问题哈，可能是机器的 diff 导致的不稳定性

[zswuser]

感谢你的耐心答复！