关于机器学习中的偏差和方差

[burnex]

偏差和方差具体怎么计算一直搞得不是很清楚，最近查看资料按自己的理解画了一个流程图，请大家帮忙看下我理解的对不对，有什么错漏之处，谢谢

大图请点击链接： https://i.loli.net/2018/09/17/5b9f4f455c1e1.png

[zynlp]

看样子楼主说的偏差像是绝对损失函数？

[miniliuke]

方差和期望是针对多样本的，对于单个样本没有意义......如果楼主说的是样本集，你这样算偏差也是没有意义的；还有求均值就是求均值，和期望没有关系

[swordspoet]

赞！仔细看了看图，图中的偏差和方差都是针对于单个样本的，最后还需要将所有样本的偏差和方差求和汇总吧？

说一说我对方差和偏差的理解：

方差和偏差分别评价了两个不同因素（数据、模型）在机器学习中的表现，也可以这样来理解：方差代表了数据扰动所造成的影响，增大样本容量通常可以减轻数据扰动带来的影响；偏差则刻画了算法或模型的拟合能力，它与数据本身关系不太大，通过特征工程、调节参数、选择模型等手段可以解决偏差问题。随着训练程度的增大，学习器拟合性能越来越强，偏差会越来越小，而数据的任何扰动则会使已经完善的学习器产生较大方差。

总之，方差关乎数据，偏差关乎模型。

下面这张图讲得很清楚：