3、线性代数中的关键概念：奇异值分解、伪逆、浮点运算与范数

线性代数中的关键概念：奇异值分解、伪逆、浮点运算与范数

1. 奇异值分解

1.1 基本概念引入

给定矩阵 (A \in R^{m\times n})，在标准基下的线性映射 (A: R^n \to R^n)，若使用由 (A) 的特征向量构成的基，其表示会更简单，可用对角矩阵 (D) 表示。但并非所有矩阵都能找到如此简单的表示，尤其对于非方阵。不过，若放宽在定义域 (R^n) 和值域 (R^m) 使用相同正交基的要求，就能找到类似简单的表示，即奇异值分解。

1.2 相关性质推导

• 矩阵 (A) 有 (n = \dim \ker(A) + \text{rank}(A)) 且 (\text{rank}(A) = \text{rank}(A^T))。同时，(\ker(A) = \ker(A^TA))，(\ker(A^T) = \ker(AA^T))，所以 (\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T))，这表明对称半正定矩阵 (A^TA \in R^{n\times n}) 和 (AA^T \in R^{m\times m}) 具有相同的秩。
• 对于 (A^TA)，选取特征值 (\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n \geq 0) 及对应的特征向量 (v_1, \cdots, v_n \in R^n)，满足 (A^TAv_j = \lambda_jv_j) 且 (v_j^Tv_k = \delta_{jk})。其中，前 (r = \text{rank}(A)) 个