Closed zhangshyang closed 5 years ago
是的,原论文中不是这么做的,原论文用大量的gpu在全局搜索了最优样本。但我不是这么做的,有两个原因。 1)原论文在全局索索最优样本的效率很低但是确实能找到最优样本。我没有那么多gpu资源(也就是没钱),所以没有按照原论文的做。 2) 最优样本只有在模型训练的后期才有用,前期需要随机找样本。而模型训练到了快收敛阶段,每个参数更新会很慢(梯度很小),所以在相邻几次迭代当中可以认为是模型参数变化很小。由于这个原因,从最近的几轮迭代中中选择样本还是有意义的,并且效果也会比随机选择好一点。 PS:如果你有大量的GPU没必要这么做,根据原论文的全局搜索法能得到更好的性能,我是没有很多GPU所以才想了这个方法。
了解了,非常感谢!
你好,最近看了你的关于deep speaker的实验,学到了很多东西,但是现在有个地方有些疑问,请教一下。在deep_speaker实验报告里介绍到根据当前网络获取样本的网络输出,再与历史样本的网络输出组合从而挑选出最优样本,不知道我的理解对不?如果是这样的,那历史的输出和当前的输出所对应的网络参数是不同的吧,这样选择出来的样本有意义么?可靠么?