R语言之多重共线性的判别以及解决方法

最新推荐文章于 2025-02-15 23:48:10 发布

转载最新推荐文章于 2025-02-15 23:48:10 发布 · 3.9w 阅读

113

收录于

本文介绍了多重共线性这一统计学概念，详细讨论了如何通过计算条件数和方差膨胀因子来评估多重共线性的严重程度，并提供了一个具体的示例。

多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。

1.可以计算X矩阵的秩qr(X)$rank，如果不是满秩的，说明其中有Xi可以用其他的X的线性组合表示；（完全的线性表示，此方法不能作为判别是否有共线性的标准，因为有可能存在共线性但不是完全线性相关）

2.也可以计算条件数kappa(X)，k<100,说明共线性程度小；如果100<k<1000，则存在较多的多重共线性;若k>1000，存在严重的多重共线性。

例如：

collinear<-data.frame(

   Y=c(10.006,
 9.737, 15.087, 8.422, 8.625, 16.289,

        5.958,
 9.313, 12.960, 5.541, 8.756, 10.937),

   X1=rep(c(8,
 0, 2, 0), c(3,
 3, 3, 3)),

   X2=rep(c(1,
 0, 7, 0), c(3,
 3, 3, 3)),

   X3=rep(c(1,
 9, 0), c(3,
 3, 6)),

   X4=rep(c(1,
 0, 1, 10), c(1,
 2, 6, 3)),

   X5=c(0.541,
 0.130, 2.116, -2.397, -0.046, 0.365,

        1.996,
 0.228, 1.38, -0.798, 0.257, 0.440),

   X6=c(-0.099,
 0.070, 0.115, 0.252, 0.017, 1.504,

        -0.865,
 -0.055, 0.502, -0.399, 0.101, 0.432)

)

XX<-cor(collinear[2:7])

kappa(XX,exact=TRUE) #exact=TRUE表示精确计算条件数；

[1]
 2195.908    #大于1000，有严重的多重共线性

#
 eigen(XX)