协方差矩阵以及PCA（主成分分析）

协方差矩阵 由上，我们已经知道：协方差是衡量两个随机变量的相关程度。且随机变量 之间的协方差可以表示为: 故根据已知的样本值可以得到协方差的估计值如下： 可以进一步地简化为： 如此，便引出了所谓的协方差矩阵： 主成成分分析 尽管从上面看来，协方差矩阵貌似很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看...

主成分分析的基本思想是通过构造多个变量的线性组合，产生一系列互不相关的新变量，并从中选出少数的几个新变量使它们包含尽可能多的原变量所包含的数据信息。代替原变量分析问题，从而避免原变量之间产生共线性。

http://pinkyjie.com/2011/02/24/covariance-pca/ 自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Compon

协方差矩阵法： 形成样本矩阵，对样本中心化 计算样本矩阵的协方差矩阵 对协方差矩阵进行特征值求解，选取最大的p个特征值对应的特征向量组成投影矩阵 对原始样本矩阵进行投影，得到降维后的新样本矩阵 ...

解：对于主成分分析的题，一般来说，题目给定一个协方差阵，不管怎样先求出特征值和特征向量。虽然第一个主成分的贡献率不小，但在本题中第一主成分不含第三个原始变量的信息，因此应该取两个主成分。（注意这里算的不是累积贡献率）所以我们取前两个主成分就可以了。的相关系数的平方，信息提取率为两者之和，如下，试求主成分分析，并求出每个主成分的。的相关系数的平方，信息提取率为两者之和。给定X的协差阵，对其进行主成分分析,（2）求出每个原始变量的信息提取率；相关系数的平方，其他原始变量同理。（1）求出每个主成分的贡献率；

三维点云处理之协方差矩阵计算 PCA主成分分析中离不开协方差矩阵，现在把关于协方差矩阵计算的推导过程记录下来，便于以后理解程序。 由于点云是三维的，所以其协方差矩阵可以表示为： C=[Cov(X,X)Cov(X,Y)Cov(X,Z)Cov(Y,X)Cov(Y,Y)Cov(Y,Z)Cov(Z,X)Cov(Z,Y)Cov(Z,Z)]C=\begin{bmatrix}Cov(X,X)&Cov(X,Y)&Cov(X,Z)\\ Cov(Y,X)&Cov(Y,Y)&Cov(Y,Z)\\C

转自：http://pinkyjie.com/2011/02/24/covariance-pca/ 上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Compone

特征值（Eigenvalue）：满足方程\(Ax = \lambda x\)的标量值\(\lambda\)，其中A为矩阵，x为非零向量。特征值表示线性变换对基向量的缩放程度。特征向量（Eigenvector）：对应于特征值\(\lambda\)的非零向量x，它表示线性变换的方向。在 PCA 中，特征向量对应数据分布的主要方向，而特征值的大小则反映了数据在该方向上的离散程度。从协方差矩阵的对角化到特征值与特征向量的求解，PCA 以严谨的数学理论为基础，为高维数据的降维提供了有效的解决方案。

今天我们继续来聊 PCA 主成分分析的下半部分。上一节，我们讲解了一种特征降维的方法：PCA 主成分分析。这个方法主要是利用不同维度特征之间的协方差，构造一个协方差矩阵，然后获取这个矩阵的特征值和特征向量。根据特征值的大小，我们可以选取那些更为重要的特征向量，或者说主成分。最终，根据这些主成分，我们就可以对原始的数据矩阵进行降维。PCA 方法的操作步骤有些繁琐，并且背后的理论支持也不是很直观，因此对于初学者来说并不好理解。

协方差矩阵的应用举例：多维的正态分布、主成分分析PCA（Principal Component Analysis） PCA作为一种通用的降维工具，常用于处理高维数据时的预处理步骤，以降低后续计算的复杂度。 PCA本质是把高维数据通过线性变换投影到低维空间，投影时遵循的思想就是：找出最能代表原始数据的投影方法。 “最能代表原始数据”希望降维后数据不失真，即被PCA“降”掉的那维数据只能是噪声或冗余。 噪声： ...

（大白话：就是降低维度，例如把一个三维的坐标表示成二维坐标或者一维坐标）PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平

（1）均值：所有样本平均值。公式：（2）方差：各个样本与样本均值的差的平方和的均值。用途：描述数据离散程度。公式：（3）标准差：方差开方即标准差。公式：（4）协方差：判断两个变量的同步程度，也就是判断A变量变化时B变量变化的相应程度。协方差>0，A变量增大时B变量增大（二者负相关）。协方差=0，A变量和B变量线性无关。协方差<0，A变量增大时B变量减小（二者正相关）。公式：这个概念不重要，工作里用不大上（5）协方差矩阵：协方差矩阵中的每个元素是各个向量元素之间的协方差。

上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Component Analysis，简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识。 PCA的缘起 PCA大概是198x年提出来的吧，简单的说，它是一种通用的降维工具。在我们处理高维数据...

更新中… 参考博文： 1，如何理解主元分析（PCA） 2，协方差-正定矩阵 第1篇博文对PCA做了很详细的说明，本文主要是对以上博文做些补充 博文1提到了协方差矩阵，在此补充一下协方差矩阵的特点。 协方差矩阵又称二阶混合中心矩 协方差公式：Cov(X,Y)=E(X−EX)(Y−EY)（1）Cov(X,Y)=E(X-EX)(Y-EY) （1）Cov(X,Y)=E(X−EX)(Y−EY)（1）oro...

你好，我是程序员贵哥，今天我们继续来聊PCA主成分分析的下半部分。上一节，我们讲解了一种特征降维的方法：PCA主成分分析。这个方法主要是利用不同维度特征之间的协方差，构造一个协方差矩阵，然后获取这个矩阵的特征值和特征向量。根据特征值的大小，我们可以选取那些更为重要的特征向量，或者说主成分。最终，根据这些主成分，我们就可以对原始的数据矩阵进行降维。PCA方法的操作步骤有些繁琐，并且背后的理论支持也不是很直观，因此对于初学者来说并不好理解。

参考文章：https://blog.csdn.net/a10767891/article/details/80288463 PCA问题可以理解为一个坐标变换问题 结合文首的链接，我们知道，PCA就是舍去一些样本变化比较小的维度，所以图片中e2方向的信息可以舍去，将二维数据压缩到一维。到这里，不难理解，PCA问题就要新建一个坐标系：数据分布最离散的方向作第1个轴，然后在垂直（正交）已建立轴的空间...

本文是PCA的前置数学知识的笔记，包括随机变量标准化，协方差，相关系数和协方差矩阵的内容