理解机器学习中的偏差与方差

[simple26]

理解偏差 (bias) 与方差 (variance), 看懂几幅图就差不多懂了:

相信很多人看过 Understanding the Bias-Variance Tradeoff, 我对其中一个 示意图 进行了重绘:

泛化误差的分解:

关于分析与证明有兴趣的话, 更多内容可以查看 原文, 如有发现任何不妥当之处, 欢迎批评指正.

[Xs0ul]

最后一段对 bias-variance trade-off 的解释有点含糊，“训练程度”这个词有点问题。

个人理解，训练程度是指训练用的数据的数量增加。但是训练数据增加一般导致 variance 下降，并不影响 bias。

最常见同时影响 bias 和 variance 的，应该是模型复杂度。

[954880786]

@Xs0ul 我认为训练样本的上升也可以导致 bias 的下降吧，训练样本较少，模型模型对训练数据集拟合的都很差，bias 和 variance 都会很高

[Xs0ul]

@954880786 #2 参考楼主的公式 (2)，f bar 是与样本无关的，取决于 X 本身的分布和模型的选取。因此公式 (5) 的 bias 也与训练样本无关。

[Yinz]

Nice 文章和博客 :D

[menc]

Bias-Variance Tradeoff 是一个典型的把简单问题复杂化的东西，大多数人也不明白为什么“过拟合”“欠拟合”可以解释的很清楚的东西，非要搞这么大一堆东西来说。
Bias-Variance Tradeoff 在 ensemble learning 有些作用，在其他的地方，则没有什么指导意义。

[menc]

所以脱离 ensemble leaning 讲 Bias-Variance Tradeoff 的文章都是耍流氓，lz 脱离问题写了这篇文章，能得出什么有益结论呢？ Bias-Variance Tradeoff 可不只只是一个 learning theory，它是可以指导模型训练的东西。

[simple26]

@954880786 @Xs0ul "训练程度" 这个词的确有些模糊, 感觉还有很多内容可研究 https://www.zhihu.com/question/27068705，有空应该再去消化一下

@menc 所以你要写一个偏差与方差的前世今生？这篇文章旨在较为 "正统" 地理解偏差与方差, 难道需要得出什么有意的结论？文章内容也不是我的原创, 大都为消化后的重新梳理, 如果你有更好的理解方式，望不吝赐教。
一道题往往有多种解法, 同一个知识点往往也有多个理解的途径，我一直倾向于寻求 “最清爽” 而不失严谨的方式。

[newton108]

这玩意儿值得写一篇博客？

[menc]

@simple26
你还是不理解 Bias 和 Variance 在机器学习中究竟用在哪里。只是看了两个概念，然后也从来没有在实际应用中用到这两个概念，就是这样。
如楼上所说，如果仅限于此，是不值得写一篇博客的。

回到 http://scott.fortmann-roe.com/docs/BiasVariance.html 原文，
建议重读第四章，这是我全部的建议。

[simple26]

@menc 我想没有实际应用过这两个概念也并不妨碍试图去理解这两个概念 如果实践没有理论指导 做起事来肯定也是蒙头乱撞 因此**在实践之前先理解概念并不矛盾**
实践可以对理论进行验证 而理论也可以通过实践去进行探索发现 二者相辅相成 应当说并没有明确的先后关系

关于值不值得写博客这个问题，不知道该怎么定义，也不清楚什么样的内容才值得写博客，不知道您二位的博客或者文章是否都是高屋建瓴，催人深思。 至少 http://zhazha.me/ 我觉得还是挺接地气的，当然，也可能是我水平有限，还体会不出其中奥妙。

中肯的建议必然是要接受和学习 但贸然对他人工作的否定我想还是有必要与之划清界限

[yemenchun1]

第一个图挺不错啊，够直观，但是 high bias、high variance 是不是均匀分布在整个圆周更好呀（而不是只在一点钟方向）

[simple26]

@yemenchun1 额 有点道理 不过为了让四个图分布的点在数量差不多的话 位置上再均匀分布四周的话感觉似乎有点太空旷了