PCA降维的主方向和协方差矩阵的特征向量，有什么关系？

最新推荐文章于 2024-08-15 00:00:00 发布
原创 最新推荐文章于 2024-08-15 00:00:00 发布 · 657 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
博客探讨了PCA（主成分分析）和ICA（独立成分分析）在降维方法中的差异。PCA通过最大化方差来找到新基，其主方向为协方差矩阵的最大特征向量，使得降维后的样本间无相关性。然而，ICA的目标是寻找信号源码，寻求数据的独立成分，即使得各维度相互独立。虽然PCA能消除相关性，但无法保证成分的独立性，而ICA则专门解决这个问题。

PCA降维的主方向和协方差矩阵的特征向量，有什么关系？

1、特征向量就是新的基；

2、特征向量（指特征值最大的那个）的方向就是方差最大的那个投影方向；

这里的降维其实是投影的意思，因为我依然选取了两个维度的特征向量。

降维后，样本的协方差矩阵↑

那么问题来了，降维之后的样本，其非对角线上的元素也基本上趋近于0，PCA和ICA有什么区别呢？

通过求协方差矩阵的特征值和特征向量，可以对样本进行一次改造。改造后的这些维度，已经没有相关性了啊。可以说是完全独立的随机变量了啊。

这不就是ICA要找信号源码？为什么还有ICA这样的方法？

PCA入门级理解
weixin_43920520的博客
04-13 597
希望用直观和易懂的方式叙述PCA的过程原理
从数据分布到PCA降维：协方差矩阵到底在机器学习里扮演什么角色？
最新发布
weixin_30536513的博客
05-16 517
本文深入解析了协方差矩阵在机器学习中的核心作用，特别是其在PCA降维技术中的应用。通过揭示数据特征间的隐秘关系，协方差矩阵帮助PCA找到数据的主要变化方向，实现高效降维。文章详细介绍了从数据标准化到特征分解的完整流程，并探讨了方差解释率等关键概念，为处理高维数据提供了实用指导。
KNN算法：数据集的分割、超参数与数据归约
zxctime的博客
10-16 2464
KNN算法：数据集的分割、超参数与数据归约一、数据集的分割1、什么是数据集的分割2、为什么要进行数据集分割3、怎么进行数据集分割1）自己实现数据集分割矩阵分割与合并使用打乱的元素下标2）使用sklearn封装好的数据集分割二、最有超参数的寻找1、什么是超参数2、超参数有哪些3、怎么寻找超参数1）自己实现最优超参数的寻找2）使用sklearn封装的超参数寻找方法三、KNN算法优化：数据归一化1、什么是数据归一化2、为什么要进行数据归一化3、数据归一化的分类1）最值归一化2）均值方差归一化4、怎么实现数据归一化
矩阵分解PCA,SVD
Ajdidfj的博客
10-09 680
协方差矩阵的特征向量是PCA主成分的方向。主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。答案：事实上，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。
揭秘PCA与协方差的关系
一只学术垃圾缓慢升级的过程
08-29 351
从数学原理上讲解了pca与协方差之间的联系
降维时为什么找最大的特征值对应的特征向量
liuql的博客
03-08 3273
特征向量 规则变换模式，并保留原数据的信息 特征值 变化强度 最大的特征值  保证数据更容易分开
pca降维后的特征跟原来的特征有什么关系?_PCA和SVD的联系和区别？
weixin_39599081的博客
12-20 496
这个问题我估计一大半人答不上来，看似两者都是降维的方法，但是两者到底有啥不同呢？假设令 为要降维的矩阵，且假设这个矩阵是中心化的.对于PCA来说，要求一个协方差矩阵 ，则 ,这是一个对称阵且可以被对角化，即 (Eq.1)其中 是特征向量， 是对角矩阵中间数值为 ， 就是降维后的向量，降维多少看你取前多少个特征向量了。对于SVD来说，就是要对矩阵 进行如下： (Eq...
特征工程——PCA
02-24 743
PCA： https://blog.csdn.net/program_developer/article/details/80632779 3.1 PCA的概念 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切...
主成分分析（Principal Component Analysis, PCA）原理全面解析与应用
weixin_43749805的博客
06-20 2333
PCA是一种无监督学习算法，用于将高维数据转换为低维数据，同时保留尽可能多的信息。PCA的主要思想是通过线性变换将原始数据映射到一个新的坐标系，其中坐标轴按照数据方差的大小排列。
PCA降维之后的样本，其协方差矩阵为对角矩阵。
Kp0fS的草稿纸
08-19 607
我们知道PCA降维的目标函数是尽可能地保留原始样本X中的方差信息。 所以降维后样本的协方差矩阵其对角线上元素尽可能得大我是理解，并认可的。 但为什么非对角线元素均为零呢？ 降维之后的样本，各个维度之间的相关性完全被切除了。 以下是实验code 降维前 样本协方差矩阵： 可以看到d1和d2关系不大，但d1和d3关系密切；d2和d3关系也不大； 降维后： 样本的协方差矩阵： 所以，为啥非对角线上的元素为0呢？ 难道是因为特征向量是正交的...
协方差矩阵相关概念、性质、应用意义及矩阵特征向量的用处
小勺挖泰山的博客
09-10 4万+
协方差矩阵相关概念、性质、应用意义及矩阵特征向量的用处
机器学习——PCA降维
Bruce_0712的博客
10-24 1186
参考文章：https://zhuanlan.zhihu.com/p/77151308 PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与 LDA（线性判别法）的数学推导有异曲同工之处，所以我只从最大可分性进行证明，而最大重构性将留在介绍 LDA 算
如何理解协方差矩阵？PCA降维是怎么使用到协方差矩阵的？
然后就去远行
01-07 1709
1.统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值：x‾=∑i=1nxin\overline{x}=\frac{\sum_{i=1}^nx_i}{n}x=n∑i=1n​xi​​ 标准差：s=∑i=1n(xi−x‾)2n−1s = \sqrt{\frac{\sum_{i=1}^n(x_i-\overline{x...
使用PCA对特征进行降维
APTX459770648的博客
01-24 4953
文章目录一、PCA是什么？二、使用方法1.引入库2.数据处理3.运用PCA进行降维总结 一、PCA是什么？ 在大量数据中，很多特征之间可能都存在着一定的相关性。再者，特征划分的越细，特征数量越多还可能导致过拟合的情况出现。因此，在特征数量众多的情况下，可以采取一定的手段对特征进行降维。主成分分析（Principal Component Analysis，简称PCA）是最常用的一种降维方法。该方法可以尽可能的保留大量特征中的主要信息，对特征数量进行简化，从而简化模型的计算。 接下来用Kaggle中的Ins.
通俗理解PCA降维作用
热门推荐
HLBoy_happy的博客
08-13 9万+
本文主要介绍一种降维方法，PCA（Principal Component Analysis，主成分分析）。降维致力于解决三类问题。 1. 降维可以缓解维度灾难问题； 2. 降维可以在压缩数据的同时让信息损失最小化； 3. 理解几百个维度的数据结构很困难，两三个维度的数据通过可视化更容易理解。。
PCA降维
xdy1120的博客
11-07 651
假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。 首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69...
PCA数学原理
yihuimin2017的博客
01-12 1417
基本步骤： （1）对数据进行归一化处理（代码中并非这么做的，而是直接减去均值） （2）计算归一化后的数据集的协方差矩阵 （3）计算协方差矩阵的特征值和特征向量 （4）保留最重要的k个特征（通常k要小于n），也可以自己制定，也可以选择一个阈值，然后通过前k个特征值之和减去后面n-k个特征值之和大于这个阈值，则选择这个k （5）找出k个特征值对应的特征向量 （6）将
数据之间的相似度的度量 马氏距离 欧氏距离 PCA相关
daydaydreamer的博客
03-15 2846
目前凭印象说一下，可能不准，反正说给我自己的哈哈、 PCA就是找出一些特征的线性组合，这些线性组合能够有效地区分出不同数据点，数据点在这些PCA找出来的方向上的投影点方差最大（同时重建误差最小，参考PCA） 欧氏距离是最直观最简单的，也就是两个点之间的几何距离，也就是原始数据各个维度上坐标值的差的平方之和 标准化欧式距离是针对简单欧式距离的缺点而作的一种改进方案。标准欧式距离的思路:既然数据各维分...
主成分分析PCA以及特征值和特征向量的意义
Mr.horse的博客
11-17 8万+
定义： 主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。 简单解释： 具体的，假...
Open3D PCA法中特征值和特征向量中的关系及应用（原理详细版）
纵马踏花向自由
08-15 1758
在PCA主成分分析中，协方差矩阵的特征值和特征向量是关键。特征向量表示数据的主方向，而特征值表示数据在主方向上的方差大小。理解特征值和特征向量的定义及其关系，有助于更好地理解数据的分布特征，并在实际应用中进行有效的数据降维和特征提取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值