search

linzehui / mRASP

165 stars 32 forks source link

关于valid和test过程 #15

Closed kaiyuhwang closed 3 years ago

kaiyuhwang commented 3 years ago

在test时我们调用您之前提出的fairseq-generate方法，并添加 --lang-prefix-tok 后面的language token是目标端语言的language token。那我们在valid过程需要怎么测试Bleu值呢？还是通过loss来选取model？如果想通过bleu值选取model，需要对fairseq-train进行如何修改？还是和双语的过程一致，只需在dev集种的src和tgt两端都加上标签

PANXiao1994 commented 3 years ago

我是通过loss来选model的。如果想通过BLEU来选取model，那么dev集应该这样处理： 源端加上源语言的language token，目标端保持原样，另外evaluate的时候要参考fairseq-generate --task tranlation_w_langtok，并添加 --lang-prefix-tok， 后面的language token是目标端语言的language token。另外，还要改一个地方，在计算bleu之前需要把generate出来的句子的language token去掉。

kaiyuhwang commented 3 years ago

十分感谢您的回复。