机器学习面试必知：LR中的共线性问题和解决方法

多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中，例如决策树或者朴素贝叶斯，前者的建模过程时逐渐递进，每次都只有一个变量参与，这种机制含有抗多重共线性干扰的功能；后者假设变量之间是相互独立的。但对于回归算法来说，都要同时考虑多个预测因子，因此多重共线性不可避免。

我们先来看共线性的原理，假设k个自变量的多元线性回归模型：$$y={\theta }_0+{\theta }_1{x}_1+...+{\theta }_k{x}_k={\theta }^{T}x+ϵ$$$$ϵ\sim N(0,{\sigma }^2)$$
利用最小二乘法可得到参数的估计为：$$\hat{\theta }=X^{†}y=(X^{T}X{)}^{-1}{X}^{T}y$$如果X不是满秩的话，会有无穷多个解。如果变量之间存在共线性，那么X近乎是不满秩的，$X^{T}X$近乎是奇异的。
我们从统计学的角度来看：$$Var(\hat{\theta }-\theta )=Var[(X^{T}X{)}^{-1}{X}^Tϵ]$$$$Var(\hat{\theta })={\sigma }^2(X^{T}X{)}^{-1}$$$$Var({\hat{\theta }}_i)=\frac{{\sigma }^2}{(n-1)Var(x_j)}\cdot \frac{1}{1-R_i^2}$$如果方差膨胀因子$\frac{1}{1-R_i^2}$很大时，也就是$R_i^2$趋向于1时，方差会变得异常大。
解决方法如下：

1. PCA等降维方法。因为在原始特征空间中变量之间相关性大，很容易想到通过降低维度的形式来去除这种共线性。
2. 正则化。使用岭回归（L2）或者lasso回归（L1）或者elasticnet回归（L1+L2）
3. 逐步回归法