search

zomux / lanmt-ebm

lanmt ebm
11 stars 1 forks source link

Train EBM on WMT'14 En-De #26

Open jaseleephd opened 4 years ago

jaseleephd commented 4 years ago

Score model with 6 layers

python run_ebm.py --opt_dtok wmt14_fair_ende --opt_batchtokens 8192 --opt_distill --opt_scorenet --train --tensorboard --opt_modeltype fakegrad --opt_train_delta_steps 4 --opt_hiddensz 512 --opt_embedsz 512 --opt_priorl 6 --opt_decoderl 6 --opt_heads 8 --opt_fixbug2 --opt_direction_n_layers 6 --opt_ebm_lr 0.0001 --opt_train_sgd_steps 1 --opt_train_step_size 1.0

Score model with 5 layers

python run_ebm.py --opt_dtok wmt14_fair_ende --opt_batchtokens 8192 --opt_distill --opt_scorenet --train --tensorboard --opt_modeltype fakegrad --opt_train_delta_steps 4 --opt_hiddensz 512 --opt_embedsz 512 --opt_priorl 6 --opt_decoderl 6 --opt_heads 8 --opt_fixbug2 --opt_direction_n_layers 5 --opt_ebm_lr 0.0001 --opt_train_sgd_steps 1 --opt_train_step_size 1.0