在mind-large上的实验结果不理想

[Snnzhao]

我尝试在mind-large上实验，其中test集合直接复制val集合。 但是NRMS的实验结果在0.5左右不收敛。

相同的设置下，微软的官方实现NRMS可以实现0.67。请问是哪里有问题吗？

[yusanshi]

AUC 0.5 左右说明 model 根本没有学到任何东西，近似于随便猜。你有关注过训练过程中的 Tensorboard 图像吗？其中的 loss 和 validation metrics 变化情况如何？你有改过代码吗？

[Snnzhao]

我没有改代码，我看了tensorboard 图像loss在正常下降，但是validation metircs也在下降。 我在mind-small上做实验的时候没遇见相同的问题，结果很正常。 在mind-large上除了NRMS我还实验了DKN和NAML都有相似的问题。

[yusanshi]

我刚才看了下共享的代码，看到你也重新跑数据处理并改了 config 文件了，我还没发现什么问题。我没用过 colab 不懂它的文件组织方式，要是普通环境确实就是重跑数据处理并改 config 就行了。抱歉没法帮到～ 你再检查下吧 :)

[Snnzhao]

我找到问题了，是我写的配置的问题，现在问题解决了，多谢。