ML-PCA

前言

2021寒假，机器学习随笔

PCA简介

主成分分析（Principal Component Analysis）是一种非监督方法，不使用输出信息；需要最大化的准则是方差。主成分是这样的$\omega$,样本投影到$\omega$上之后最分散，使得样本点之间的差别最明显，也就是方差最大。

原理过程

为了得到为一解且是的该方向成为最重要的因素，我们要求${\omega }_1$的范数等于1 。如果$z_1={\omega }_1^{T}x$且Cov($x$) =$\Sigma$，则$$Var\left(z_1\right)={{\omega }_1}^T\Sigma {\omega }_1$$其中$\Sigma$表示样本的协方差矩阵。我们要寻找一个${\omega }_1$，使得$Var\left(z_1\right)$在${\omega }_1^T{\omega }_1=1$的条件下最大化。把这个写成一个拉格朗日问题。$$\underset{{\omega }_1}{\max }{{\omega }_1}^T\Sigma {\omega }_1-\alpha \left({{\omega }_1}^T{\omega }_1-1\right)$$关于${\omega }_1$求导并令它等于0，有$$2\Sigma {\omega }_1-2\alpha {\omega }_1=0,\Sigma {\omega }_1=\alpha {\omega }_1$$如果${\omega }_1$是$\Sigma$的特征向量，$\alpha$是对应的特征值，则上式成立，因此我们想最大化$$Var\left(z_1\right)={\omega }_1^T\Sigma {\omega }_1=\alpha {\omega }_1^T{\omega }_1=\alpha$$所以为了方差最大，我们选择具有最大特征值的特征向量。至此就得到了第一个主成分，就是输入样本的协方差矩阵的具有最大特征值${\lambda }_1=\alpha$的特征向量。
接下来求第二个主成分${\omega }_2$，${\omega }_2$也应该最大化方差，具有单位长度，并且和${\omega }_1$正交。正交要求是因为要是的投影后的$z_2={\omega }_2^{T}x$与$z_1$不相关。对于第二个主成分有$$\underset{{\omega }_2}{\max }{{\omega }_2}^T\Sigma {\omega }_2-\alpha \left({{\omega }_2}^T{\omega }_2-1\right)-\beta \left({{\omega }_1}^T{\omega }_1-0\right)$$关于${\omega }_2$求导并令它等于0，有$$2\Sigma {\omega }_2-2\alpha {\omega }_2-\beta {\omega }_1=0$$用${\omega }_1^T$左乘，得到$$2{\omega }_1^T\Sigma {\omega }_2-2\alpha {\omega }_1^T{\omega }_2-\beta {\omega }_1^T{\omega }_1=0$$其中${\omega }_1^T{\omega }_2=0$，${\omega }_1^T\Sigma {\omega }_2$是标量，等于它的转置${\omega }_2^T\Sigma {\omega }_1$。因为${\omega }_1$是$\Sigma$的主特征向量，所以$\Sigma {\omega }_1={\lambda }_1{\omega }_1$。所以$${\omega }_1^T\Sigma {\omega }_2={\omega }_2^T\Sigma {\omega }_1={\omega }_2^T{\lambda }_1{\omega }_1=0$$于是$\beta =0$，可以得到$$\Sigma {\omega }_2=\alpha {\omega }_2$$这表明${\omega }_2$应该是$\Sigma$的具有第二大特征值${\lambda }_2=\alpha$的特征向量。类似的可以以证明出其他维由$\Sigma$的具有递减特征值的特征向量给出。

主要应用及缺陷

当维是高度相关时，只有少部分特征向量具有较大的特征值，这样$k$远小于$d$维，能得到很大的维度归约。一般在图像和语音处理中是这种情况。当维之间互不相关的时候，$k$和$d$一样大，PCA没有收益。
PCA对离群点很敏感，少量远离中心的点对方差影响很大。