深度学习基础（四）PCA和Whitening

最新推荐文章于 2023-12-19 15:02:34 发布

原创

最新推荐文章于 2023-12-19 15:02:34 发布 · 2.9k 阅读

·

1

·

PCA（主成分分析）是常见的降维方法，通过计算数据集的协方差矩阵找到最大特征值对应的主要方向。在降维过程中，特征值的大小决定了维度的重要性。Whitening是对特征的预处理，目标是使特征间相关性降低，各特征的协方差为一。了解PCA与Whitening有助于理解数据降维和预处理。

PCA(principal component analysis )即主成分分析，是一种常用的降维方法。

假设我们用降维操作处理一个二维的数据集（二维压缩成一维）：

$\textstyle \{x^{(1)}, x^{(2)}, \ldots, x^{(m)}\}$

$\textstyle x^{(i)} \in \Re^2$

在这个数据集上，我们可以计算出两个方向，我们称为主方向u1和次方向u2，其中u1的值是数据集协方差矩阵的最大特征值对应的特征向量，u2是次大特征值对应的特征向量。数据集的协方差矩阵（这个符号很像求和但不是）：

$\begin{align}\Sigma = \frac{1}{m} \sum_{i=1}^m (x^{(i)})(x^{(i)})^T. \end{align}$

我们现在用U=[u1 u2]处理x，由矩阵变换可知这相当于一个旋转变换:

$\begin{align}x_{\rm rot} = U^Tx = \begin{bmatrix} u_1^Tx \\ u_2^Tx \end{bmatrix} \end{align}$

上图中x轴为u1,y轴为u2

为了降维，我们只选择一个维度，比如u1，那么

$\begin{align}\tilde{x}^{(i)} = x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)} \in \Re.\end{align}$

这里就有一个问题了，我们怎么选择去掉的维度呢？这就要引入维度重要性的判断标准了：

$\begin{align}\frac{\sum_{j=1}^k \lambda_j}{\sum_{j=1}^n \lambda_j}.\end{align}$

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。