机器学习中偏差和方差

1 过拟合和欠拟合

对下面的圆圈和叉进行分类

一般有这2中情况：

 前一种叫欠拟合，模型太简单了，具有很高的偏差，第二种叫过拟合，具有很高的方差。比较适中的是下面的方法

2 高偏差和高方差

一般来说，训练集的误差高是由高偏差引起的，验证集或者测试集的误差高是由高方差引起的，这需要对比来看，举个例子：

训练集的误差8%，测试集的误差9%，典型的高偏差，模型欠拟合

训练集的误差2%，测试集的误差8%，典型的高方差，模型过拟合

3 怎么处理

欠拟合，一般是因为模型太简单，需要增加模型复杂度，先提升训练集上的性能。

过拟合，一般是模型复杂度过高，解决方法有正则化、数据增强、early stopping、正交化。

4 正则化

正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。

这句话不需要去理解，机器学习中的正则化主要是在模型中加入正则，可以降低某些特征的权重，达到降低模型复杂度的效果。

一般方法有：L2正则化、dropout正则化。