机器学习中L1和L2正则化

• L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择

• L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

具体参考：https://blog.csdn.net/jinping_shi/article/details/52433975

• L1是w绝对值加和，L2是w平方加和。
• L1的有趣的现象是会使得w有的接近于0，有的接近于1，L1更多的会用在降维上面，因为有的是0有的是1，我们也称之为稀疏编码。
• L2是更常用的正则化手段，它会使得w整体变小。

超参数alpha 在Rideg类里面就直接是L2正则的权重。
超参数alpha 在Lasso类里面就直接是L1正则的权重。

模型参数W个数，越少越好，无招胜有招。
模型参数W的值越小越好，这样如果X输入有误差，也不会太影响y预测结果。

使用惩罚项，会提高模型的泛化能力，但是因为人为的改变了损失函数，所以在一定程度上牺牲了正确率。
在惩罚项里面，会有个alpha，即惩罚项的权重，我们可以通过调整alpha超参数，根据需求来决定
是更看重模型的正确率还是模型的泛化能力！