8、基于边的波核图嵌入技术解析

基于边的波核图嵌入技术解析

1. 引言

图嵌入在机器学习和模式识别领域应用广泛，可用于聚类、分析和可视化关系数据，也是图特征化的有效手段，如ISOmap、拉普拉斯特征映射和热核嵌入等。嵌入后的图可用特征向量描述，方便利用欧几里得向量空间的几何分析工具。然而，当关系图的矩阵特征包含负特征值，即非半正定矩阵时，图无法嵌入欧几里得空间，而是伪欧几里得或克莱因空间，这一问题在文献中较少受到关注。

本文旨在将图的节点嵌入伪欧几里得空间中的伪黎曼流形表面，并以波核为研究框架。波核是波动方程的解，波动方程是描述各种波传播的重要二阶线性偏微分方程，其解为复数，存在于伪欧几里得空间。尽管波动方程在连续域已被广泛研究，但在图上的研究相对较少。与热核类似，波核可由组合拉普拉斯算子定义，不过这里使用的是Friedman引入的基于边的拉普拉斯算子。

2. 图嵌入到伪黎曼流形

2.1 基于边的波动方程

Friedman开发了一种基于图的波动方程，其基于组合拉普拉斯算子的变体——基于边的拉普拉斯算子。该方程与连续波动方程有有趣联系，且具有简单的物理解释：图的边可看作在顶点处相连的拉紧弦。

图论中定义的组合拉普拉斯算子 $L$ 作用于图顶点集上的函数，其波动方程 $U_{tt} = -LU$ 无法给出有限的波传播速度，与连续波动方程无简单联系。为解决此问题，Friedman引入了基于边的波动方程 $W_{tt} = -L_E W$，其中 $L_E$ 是基于边的拉普拉斯算子，是对连续拉普拉斯算子更好的近似，该方程的波传播速度为单位速度。

对于基于边的拉普拉斯算子，特征函数 $f$ 满足 $L_E f = \lambda f$ 且 $L f = 0$。若 $L$ 归一化且图的每条边权重为 1，则 $L$ 与 $1 - \cos \sqrt{L_E}$ 相似。波动方程的一般解形式为：
[
W = \frac{\sin(\sqrt{L_E}t)}{\sqrt{L_E}} g + \cos(\sqrt{L_E}t) f
]
对于本文工作，只需计算满足 $W| {t=0} = 0$ 和 $W_t| {t=0} = 1$ 的基本解：
[
W = \frac{\sin(\sqrt{L_E}t)}{\sqrt{L_E}}
]
由于 $L_E$ 是半正定的，$W$ 可通过麦克劳林级数近似：
[
W = t[I - \frac{1}{6}L_E t^2]
]
此时可将图的节点视为位于伪黎曼流形上，边视为流形上的测地线。

2.2 嵌入坐标矩阵

正定黎曼流形有两种表示方式：一是内在定义其属性，二是将其视为高维欧几里得空间的子集。Nash和Whitney的工作表明，这两种方法是等价的，即任何内在定义的黎曼流形都可嵌入欧几里得空间。Clarke证明了伪黎曼流形在度量不确定的情况下也有相同结论。

伪欧几里得空间是欧几里得空间的推广，其内积不确定。对于平方欧几里得距离，嵌入由从核矩阵 $W$ 导出的伪Gram矩阵 $C = -\frac{1}{2}QWQ$ 确定，其中 $Q = ee^T - I$，$e = (1, …, 1)^T$。若以嵌入坐标为列的矩阵为 $X^T$，则有：
[
C = -\frac{1}{n}XX^T
]
在伪欧几里得空间中：
[
C = -\frac{1}{n}X
\begin{pmatrix}
M & 0_{(p+q)\times k} \
0_{k\times(p+q)} & 0_{k\times k}
\end{pmatrix}
X^T
]
其中：
[
M =
\begin{pmatrix}
I_{p\times p} & 0_{p\times q} \
0_{q\times p} & -I_{q\times q}
\end{pmatrix}
]
且 $p + q + k = n$。通过 $XMX^T = \Phi\Lambda\Phi^T = \Phi|\Lambda|^{\frac{1}{2}} M|\Lambda|^{\frac{1}{2}} \Phi^T$ 可恢复向量，其中 $\Phi$ 是特征向量的列矩阵，$\Lambda$ 是相应特征值的对角矩阵。向量通过变换 $X_L = \Phi_L|\Lambda_L|^{\frac{1}{2}}$ 恢复，$X_L$ 的列即为伪欧几里得空间中的向量。

2.3 基于边的特征值和特征函数

在进行嵌入实验前，需构建基于边的拉普拉斯矩阵。我们遵循文献[6]中的方法，利用归一化邻接矩阵的特征值和特征函数来确定基于边的特征值和特征函数。

考虑有限图 $G = (V, E)$，其邻接矩阵 $A$ 的元素定义为：
[
A(u, v) =
\begin{cases}
1, & \text{if } (u, v) \in E \
0, & \text{otherwise}
\end{cases}
]
设 $T$ 是对角矩阵，其元素为图 $G$ 节点的度，即 $T(u, u) = \sum_{v\in V} A(u, v) = \text{deg}_u$。将邻接矩阵 $A$ 的每一行除以相应节点的度，得到归一化邻接矩阵 $\tilde{A}$。对于 $\tilde{A}$ 的每个特征值 $\lambda$，存在唯一的 $\cos^{-1}(\lambda) \in [0, \pi]$。基于边的特征值为 $2n\pi + \cos^{-1}(\lambda)$ 和 $2(n + 1)\pi - \cos^{-1}(\lambda)$，其中 $n = 0, 1, 2, …$。

对于基于边的特征对 $(f, \lambda)$，有以下性质：
1. $\cos \lambda$ 是 $\tilde{A}$ 的特征值；
2. $f$ 是 $\tilde{A}$ 的特征函数，即 $\tilde{A}f = \cos \lambda f$；
3. $L_E f = \lambda f$ 且 $L f = 0$。

对于有限图 $G$，存在基于边的拉普拉斯算子的特征对 $f_i, \lambda_i$，满足：
1. $0 \leq \lambda_1 \leq \lambda_2 \leq …$；
2. $f_i$ 满足狄利克雷（或诺伊曼）条件；
3. $f_i$ 构成 $L^2_{Dir}(G)$（或 $L^2(G)$）的完备正交基；
4. $\lambda_i \to \infty$。

从物理角度看，方程 $L_E f = \lambda f$ 和 $L f = 0$ 描述了每条边上拉紧弦的振动模式，激发系统会产生频率为 $\sqrt{\lambda}$ 的音调。

3. 伪欧几里得空间

伪欧几里得空间是 $n$ 维空间 $r_1, r_2, …, r_n$，其中 $r_i = r$ 或 $ir$，$r$ 是实数集，$i = \sqrt{-1}$。下面介绍在伪欧几里得空间中操作向量的方法。

3.1 距离函数

在伪欧几里得空间 $\mathbb{R}^n$ 中，定义对称双线性形式 $\rho : \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}$，$\rho(x, y) = x^T S y$，其中 $S$ 是矩阵，其元素 $s_{ij} = \frac{1}{2}(d_{ii}^2 + d_{jj}^2 - d_{ij}^2)$，$d$ 是距离函数，给出所有 $1 \leq i, j \leq n$ 的成对距离 $d_{ij}$。对于任意两个向量 $x, y \in \mathbb{R}^n$，$\rho(x, y)$ 是 $x$ 和 $y$ 的内积，$|x - y|^2 = \rho(x - y, x - y)$ 是 $x$ 和 $y$ 的平方距离。

由于 $S$ 是实对称矩阵，存在正交矩阵 $\Psi$ 和对角矩阵 $\Gamma$，使得 $S = \Psi\Gamma\Psi^T$，$\Gamma$ 的元素 $\delta_i$ 是 $S$ 按顺序排列的特征值，$\Psi$ 的列是相应顺序的特征向量。需要注意的是，若矩阵 $S$ 有负特征值，伪欧几里得空间中两个向量的平方距离可能为负，且平方距离为零并不意味着两个向量相同，这与欧几里得空间不同。

3.2 正交基

矩阵 $B = I\Psi$ 的列 ${b_i}, i = 1, …, n$ 表示 $\mathbb{R}^n$ 的正交基，因为 $S$ 是关于自然基 ${e_i}, i = 1, …, n$（其中 $e_i = (0, …, 1_i, …, 0)$）的 $\rho$ 矩阵。双线性形式 $\rho$ 关于基 $b_i$ 可写为 $S_b = \Psi^T S\Psi$，即 $S_b = \Gamma$。对于任意两个向量 $x$ 和 $y$ 在 $\mathbb{R}^n$ 中，$\rho(x, y) = x^T S y = [x_b^T \Psi^T][\Psi S_b \Psi^T][\Psi y_b \Psi^T]$，所以 $\rho(x, y) = x_b^T S_b y_b = x_b^T \Gamma y_b$。

内积可写为 $\rho(x, y) = \sum_{i=1}^{n} \delta_i (x_b) i (y_b)_i$，平方距离为 $|x - y|^2 = \sum {i=1}^{n} \delta_i ([x_b]_i - [y_b]_i)^2$。矩阵 $X_b = X\Psi$ 的列是关于基 ${b_i}$ 的坐标，反之，坐标矩阵 $X_e = X_o \Psi^T$ 的列是关于正交自然基的坐标向量。

定义对角矩阵 $J = \text{diag}(j_{ij})$，其元素为：
[
j_i =
\begin{cases}
1, & \delta_i > 0 \
0, & \delta_i = 0 \
-1, & \delta_i < 0
\end{cases}
]
且 $i = 1, …, n$。再定义 $\tilde{\Gamma} = \text{diag}(\gamma_i)$，其中：
[
\gamma_i =
\begin{cases}
|\delta_i|, & \delta_i \neq 0 \
1, & \text{otherwise}
\end{cases}
]
考虑矩阵 $\tilde{\Psi} = \Psi \tilde{\Gamma}^{-\frac{1}{2}}$，其前 $l$ 列是关于 ${b_i}$ 的正交向量。通过计算 $\tilde{\Psi}^T S \tilde{\Psi} = \tilde{\Gamma}^{-\frac{1}{2}} \Psi^T [\Psi S_b \Psi^T] \Psi \tilde{\Gamma}^{-\frac{1}{2}} = \tilde{\Gamma}^{-\frac{1}{2}} \Gamma \tilde{\Gamma}^{-\frac{1}{2}} = J$ 可证明。$J$ 的对角元素 $J_i, i = 1, …, l$ 为 1 或 -1，其余为零。因此，矩阵 $\tilde{B} = B \tilde{\Gamma}^{-\frac{1}{2}}$ 的前 $l$ 列构成 $\mathbb{R}^l$ 的正交基。对于矩阵 $X_e$（其列是伪欧几里得空间中关于自然基 ${e_i}, i = 1, …, n$ 的坐标向量），关于正交基 ${b_i}, i = 1, …, n$ 的相应坐标矩阵为 $X_{\tilde{b}} = X_e \tilde{\Psi}$。

3.3 投影到二维子空间

假设对矩阵 $S$ 的特征值进行排序，使得前 $l^+$ 个特征值为正，接下来的 $l^-$ 个为负，其余为零，其中 $l = l^+ + l^-$。那么 ${b_i}_{1\leq i\leq l}$ 和矩阵 $B$ 的前 $l$ 列构成 $\mathbb{R}^l$ 的正交基。

使用矩阵 $\tilde{\Psi}$ 的前 $l$ 列，可将矩阵 $X$ 的列向量投影到 $\mathbb{R}^l$ 中关于 ${b_i} {1\leq i\leq l}$ 的空间，得到 $X_l = B \tilde{\Psi}^T$。为得到 $X_l$ 关于正交基 $\tilde{b}_i$ 的坐标，构建矩阵 $X {l\tilde{b}} = \tilde{B} \tilde{D}_l^{-\frac{1}{2}} \Psi_l^T = (p_1|p_2|…)$，其中 $\tilde{D}_l = \text{diag}(\gamma_i), 1 \leq i \leq l$ 是 $\tilde{D}$ 的第 $l$ 个前导主子矩阵，$p_i$ 是图 $G$ 第 $i$ 个节点的投影坐标向量。

为避免处理高维空间的问题，我们忽略特征值绝对值较小的维度。将特征值按绝对值降序排列，前 $k$ 个特征值（通常 $k = 2$ 或 $3$，且 $k < l$）将张成一个 $\mathbb{R}^k$ 空间，可将伪欧几里得空间 $\mathbb{R}^n$ 的精确向量表示投影到该空间。

4. 豪斯多夫距离

我们将波核嵌入作为图匹配的图特征化方法，用对应于嵌入节点位置的坐标向量集表示图，并使用鲁棒的修改豪斯多夫距离计算不同图嵌入结果集的相似度。

豪斯多夫距离用于计算无序观测集之间的距离，当个体项目之间的对应关系未知时非常有用。在最一般的情况下，豪斯多夫距离定义在度量空间中的紧集之间。对于两个有限点集 $A = {p_A^1 | p_A^2 | … | p_A^{|V_A|}}$ 和 $B = {p_B^1 | p_B^2 | … | p_B^{|V_B|}}$，分别表示图 $G_A(V_A, E_A)$ 和 $G_B(V_B, E_B)$ 的投影嵌入，修改豪斯多夫距离定义为：
[
H(A, B) = \max(h(A, B), h(B, A))
]
其中从 $A$ 到 $B$ 的有向修改豪斯多夫距离定义为：
[
h(A, B) = \frac{1}{N_A} \sum_{a\in A} \min_{b\in B} |a - b|
]
$|\cdot|$ 是 $A$ 和 $B$ 中点的某种范数（如 $L^2$ 或欧几里得范数）。两个图之间的距离可写为：
[
h_{MHD}(G_A, G_B) = \frac{1}{|V_A|} \sum_{i\in V_A} \min_{j\in V_B} |p_A^i - p_B^j|
]

下面用一个mermaid流程图总结图嵌入的主要步骤：

graph TD;
    A[开始] --> B[求解基于边的波动方程];
    B --> C[构建嵌入坐标矩阵];
    C --> D[确定基于边的特征值和特征函数];
    D --> E[操作伪欧几里得空间中的向量];
    E --> F[计算豪斯多夫距离进行图匹配];
    F --> G[结束];

通过以上步骤，我们可以将图嵌入到伪黎曼流形中，并利用豪斯多夫距离进行图的相似度比较，为图的聚类和分析提供了有效的方法。

接下来我们将进一步探讨实验评估部分，以验证该方法在实际应用中的效果。

基于边的波核图嵌入技术解析

5. 实验评估

为了验证基于边的波核图嵌入方法的有效性，我们在从2D图像数据中提取的图上进行了实验。主要目的是检验该方法能否将同一对象的不同视图聚类在一起，以及评估其在图匹配任务中的性能。

5.1 数据集

我们使用的数据集包含从不同对象的不同视图中提取的图，这些图表示图像特征之间的邻近关系。每个图由节点和边组成，节点对应图像特征，边表示特征之间的连接关系。

5.2 实验设置

我们按照以下步骤进行实验：
1. 图嵌入 ：首先，根据前面介绍的方法，求解基于边的波动方程，构建嵌入坐标矩阵，将图的节点嵌入到伪黎曼流形中。
2. 相似度计算 ：使用修改豪斯多夫距离计算不同图之间的相似度。
3. 多维尺度分析（MDS） ：将计算得到的相似度矩阵应用多维尺度分析，将图可视化到低维空间中，以便观察聚类效果。

5.3 实验结果

通过实验，我们发现该方法能够有效地将同一对象的不同视图聚类在一起。在多维尺度分析的可视化结果中，可以明显看到同一对象的不同视图紧密地聚集在一起，而不同对象的视图则相互分离。这表明基于边的波核图嵌入方法能够捕捉到图的结构信息，从而实现有效的图聚类。

为了更直观地展示实验结果，我们给出以下表格：

从表格中可以看出，该方法在不同对象上都取得了较高的聚类准确率，进一步证明了其有效性。

6. 结论与未来研究方向

6.1 结论

本文提出了一种基于边的波核图嵌入方法，将图的节点嵌入到伪黎曼流形中。通过求解基于边的波动方程，我们得到了图的嵌入坐标，并利用修改豪斯多夫距离计算图之间的相似度。实验结果表明，该方法能够有效地将同一对象的不同视图聚类在一起，为图的聚类和分析提供了一种新的有效手段。

6.2 未来研究方向

尽管本文的方法取得了较好的实验结果，但仍有一些方面可以进一步研究和改进：
1. 算法复杂度优化 ：目前的方法在处理大规模图时可能会面临计算复杂度较高的问题。未来可以研究如何优化算法，降低计算复杂度，提高方法的效率。
2. 更多应用场景探索 ：本文主要在2D图像数据提取的图上进行了实验，未来可以探索该方法在其他领域的应用，如社交网络分析、生物信息学等。
3. 结合其他技术 ：可以考虑将基于边的波核图嵌入方法与其他图分析技术相结合，如深度学习、图神经网络等，以进一步提高图分析的性能。

下面用一个mermaid流程图总结未来研究方向的主要思路：

graph TD;
    A[未来研究方向] --> B[算法复杂度优化];
    A --> C[更多应用场景探索];
    A --> D[结合其他技术];
    B --> E[提高方法效率];
    C --> F[拓展应用领域];
    D --> G[提升图分析性能];

综上所述，基于边的波核图嵌入方法具有很大的研究价值和应用潜力，未来的研究有望进一步推动图分析技术的发展。