search

THUNLP-MT / THUMT

An open-source neural machine translation toolkit developed by Tsinghua Natural Language Processing Group
BSD 3-Clause "New" or "Revised" License
703 stars 197 forks source link

training on wmt17 de-en, validation on wmt14 de-en 的bleu值在3w步之后一直维持在0.31附近 #96

Closed wujsAct closed 4 years ago

wujsAct commented 4 years ago

您好：

我完全按照手册上面的数据预处理和代码里原始的超参数进行训练，如题，拿wmt14 de-en数据集做为验证，打印训练过程中的验证集上面的bleu值大约3w步之后，就一直是0.31左右。跟手册上面显示3w步之后到达0.35左右相差很多。所以想知道手册上面的运行日志的实验选择的超参数是否跟公布的代码是否一样。

我的环境是python 3.6.9 + tensorflow 1.15.0。

期待您的回复。

GrittyChen commented 4 years ago

@wujsAct 很抱歉没有及时回复！ 手册中的结果跟使用的参数是一致的，但手册中使用的是wmt17的数据，跟wmt14的数据不一样，您可以换成wmt17的数据测试一下。

wujsAct commented 4 years ago

@GrittyChen 手册上面使用的validation set是newstest2014，因此log显示的应该也是在wmt14上面的结果。

wujsAct commented 4 years ago

@GrittyChen 我在wmt17 de－en上面测试结果是34.48。