测试的时候每次的cer都不一样

ZhengkunTian / OpenTransformer

A No-Recurrence Sequence-to-Sequence Model for Speech Recognition

MIT License

372 stars 66 forks source link

测试的时候每次的cer都不一样 #10

Closed HandsLing closed 4 years ago

HandsLing commented 4 years ago

您好，我使用同一个模型，在同一个测试集上面测试cer，结果发现每次的结果都有点小差别，请问这正常吗？

ZhengkunTian commented 4 years ago

我在解码的时候也发现了类似的问题，我认为程序里面存在部分随机变量，我都手动把dropout等都置零了。具体原因不知为什么。解码的时候设置了eval()模式，代码中也不存在batchnorm，实在不知道问题出在哪里。

ZhengkunTian commented 4 years ago

你可以帮忙研究研究问题的所在，如果解决了，请告诉我一下哈哈哈，谢谢！

HandsLing commented 4 years ago

你可以帮忙研究研究问题的所在，如果解决了，请告诉我一下哈哈哈，谢谢！

好的好的

HandsLing commented 4 years ago

你可以帮忙研究研究问题的所在，如果解决了，请告诉我一下哈哈哈，谢谢！

我想我找到方法了，我在eval.py文件的main函数开头的地方加了个 torch.manual_seed(args.seed) torch.cuda.manual_seed(args.seed) torch.backends.cudnn.deterministic = True 测试了四次，结果都是一样的，你试试看

ZhengkunTian commented 4 years ago

嗯嗯，哈哈哈，总觉得这不是根源问题。