search

zomux / lanmt-ebm

lanmt ebm
11 stars 1 forks source link

Retrain NAT model on IWSLT16 #25

Open zomux opened 4 years ago

zomux commented 4 years ago

Train a base model

run_2nodes python lanmt/run2.py --root $HOME/data/iwslt16_ende --opt_dtok iwslt16_deen --opt_batchtokens 8192 --opt_distill --opt_annealbudget --opt_longertrain --opt_hiddensz 256 --opt_embedsz 256 --opt_fastanneal --opt_latentdim 256 --opt_priorl 5 --opt_decoderl 5 --opt_heads 2 --train --test --evaluate

zomux commented 4 years ago

run_2nodes python lanmt/run2.py --root $HOME/data/iwslt16_ende --opt_dtok iwslt16_deen --opt_batchtokens 4096 --opt_distill --opt_annealbudget --opt_hiddensz 256 --opt_embedsz 256 --opt_fastanneal --opt_latentdim 8 --train --test --evaluate