47、数据降维技术全解析

数据降维技术全解析

1. 特征值与特征向量计算

1.1 特征值计算示例

给定矩阵 (C)，通过计算 (det(C - b I)) 来确定特征值。例如：
(det(C - b I) = det\begin{bmatrix}1 - b & 3 \ 3 & 1 - b\end{bmatrix} = (1 - b) (1 - b) - 9 = b^2 - 2b - 8)
令 (det(C - b I) = 0)，使用二次公式或因式分解可得 (b = -2) 或 (b = 4)。

1.2 特征向量计算示例

• 当 (b = -2) 时，代入 ((C - b*I)x’ = 0)，得到 (\begin{bmatrix}3 & 3 \ 3 & 3\end{bmatrix}\begin{bmatrix}x_1 \ x_2\end{bmatrix} = \begin{bmatrix}0 \ 0\end{bmatrix})，化简为 (3x_1 + 3x_2 = 0)，一般解为 (x_1 = -x_2)，取 (x_2 = 1)，则 (x_1 = -1)，所以特征向量为 ([-1, 1])。
• 当 (b = 4) 时，特征向量为 ([1, 1])。

1.3 特征向量正交性

特征向量 ([-1, 1]) 和 ([1, 1]) 是正交的，因为它们的内积为 ((-1) 1 + (1) 1 = 0)。实际上，实特征值的方阵的特征向量集总是正交的。

2. 高斯