谈谈 Bias-Variance Tradeoff | 始终

[Liam0205]

https://liam.page/2017/03/25/bias-variance-tradeoff/

准确是两个概念。准是 bias 小，确是 variance 小。准确是相对概念，因为 bias-variance tradeoff。——Liam Huang 在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。

[koyouking]

我正在学习机器学，这篇文章对我很有帮助，非常感谢您。

[Liam0205]

@koyouking 不客气。

[yuriyao]

给出了寻找最优平衡点的数学描述。若模型复杂度大于平衡点，则模型的方差会偏高，模型倾向于过拟合；若模型复杂度小于平衡点，则模型的偏差会偏高，模型倾向于过拟合。 // 应该是欠拟合

[Liam0205]

@yuriyao 你讲的对，这里是我写错了。我改一下。

[wkenmomo]

请问为什么必须有这个trade off？换句话说，能不能证明我不可能找到一个model，他的bias和variance都是0？ Bias的定义是E(Ÿ - EY), Variance是Var(Ÿ)。我如果使用average Y做predictor，它既没有bias又没有variance（因为他是个常数）

[Liam0205]

@wkenmomo 请问为什么必须有这个trade off？换句话说，能不能证明我不可能找到一个model，他的bias和variance都是0？ Bias的定义是E(Ÿ - EY), Variance是Var(Ÿ)。我如果使用average Y做predictor，它既没有bias又没有variance（因为他是个常数）

你这样做 Variance 是零，Bias 非常大。你列的公式可能你理解的有些偏差。

[wkenmomo]

@Liam0205

@wkenmomo 请问为什么必须有这个trade off？换句话说，能不能证明我不可能找到一个model，他的bias和variance都是0？ Bias的定义是E(Ÿ - EY), Variance是Var(Ÿ)。我如果使用average Y做predictor，它既没有bias又没有variance（因为他是个常数）

你这样做 Variance 是零，Bias 非常大。你列的公式可能你理解的有些偏差。

那请问这种做法的bias是多少？我的公式和你文章顶上的是一样的。然后即使这个不行，能不能证明不存在任何？

Edit: 谢谢快速回复。文章讲的很好也很实用，就是数学上有点说不通，因为没有解释为啥bias^2+variance有个大于0的最低点。是因为数学上不可能呢，还是现在的模型太垃圾做不到呢