about analysing results: principles, methods & experience

[iTomxy]

你好，我想问下能不能加一点关于实验结果分析的分享？就是当用别人模型跑新数据集、或自己设计新的方法时不 work，想要分析结果找找原因，那么一般可以从什么方面进行分析和思考呢？

比如说在做图像生成，生成结果不好，那么从这些不好的结果中可以如何分析出模型不 work 的 insight 呢？

我目前能想到的可能只有盯一下 loss 曲线：用别人模型在其文章的数据集上重新跑一次，画出 loss 曲线作为参考，看看自己的训练是否正常。除此之外就只能根据 training data、losses 这些瞎猜……

那么在你的研究中如果遇到这种不 work 的情况会观察什么结果、怎么思考和分析原因呢？我觉得可能得对问题有了大致的猜测之后，后续才好设计实验验证和改进。这方面有什么经验可以分享吗？

谢谢

[pengsida]

你好，感谢提了一个非常好的建议。我加了这样的一个文档，最近有空的时候总结一下：https://github.com/pengsida/learning_research/blob/master/getting_advanced_in_research.md?plain=1#L7

[pengsida]

你好，我整理了一版初步的经验，链接加在了这里：https://github.com/pengsida/learning_research/blob/master/getting_advanced_in_research.md?plain=1#L7

具体的文档链接是：https://pengsida.notion.site/work-1aee6e718de6472f834d13da8f4ff097