Gram矩阵和核函数

Gram矩阵定义
内积空间中的一组向量${\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n$的Gram矩阵是内积的Hermitian矩阵（复共轭对称矩阵$A^H=A$），定义为：${\mathrm{G}}_{ij}=⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩$，即：如果是一组实向量，则产生的Gram矩阵是对称矩阵（symmetric matrix）；如果是复向量，产生的Gram矩阵是复共轭对称矩阵。

给定一个实矩阵$A$，矩阵$A^{T}A$是$A$的列向量的Gram 矩阵，而矩阵$A{A}^T$是$A$的行向量的Gram矩阵。

在Euclidean空间或以二范数为基础的Hilbert空间中，Gram矩阵是半正定矩阵：

• 证明：$设A=({\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n)$，由格拉姆矩阵的定义有$\mathrm{G}=A^{H}A$，我们知道$A^{H}A$是半正定矩阵，可由${\mathbf{x}}^H{A}^{H}A\mathbf{x}=(A\mathbf{x}{)}^H(A\mathbf{x})=||A\mathbf{x}|{|}_2^2\ge 0$证明。
• 应用：正定核函数$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\mathbf{\varphi }({\mathbf{x}}_i)\cdot \mathbf{\varphi }({\mathbf{x}}_j)$$通常所说的核函数都是正定核函数，为什么呢？通常不加以显示地定义映射函数$\mathbf{\varphi }(\mathbf{x})$，而是以核函数直接产生的映射内积的结果为导向（结果导向型），直接用核函数作用输入训练样本$\mathcal{X}$，产生核函数$K(\mathbf{x},\mathbf{z})$对应的Gram矩阵：$$K={\left[K({\mathbf{x}}_i,{\mathbf{x}}_j)\right]}_{m\times m}$$此核函数对应的Gram矩阵是半正定矩阵。因为映射函数$\mathbf{\varphi }(\mathbf{x})$本身就是一个向量，$m$个样本将产生$N$