论文《Surrogate Representation Learning with Isometric Mapping for Gray-box Graph Adversarial Attacks》笔

【SRLIM 2022 WSDM】本文认为代理模型的训练和所提供的梯度信息的可靠性还缺乏讨论。在图数据中，节点的拓扑结构是攻击者可以利用的重要信息，保留这种拓扑信息可以提供攻击的可转移性。然而代理模型在训练时丢失的这种信息，所以梯度信息变得不可靠。本文针对该问题提出了一种使用等距映射的代理模型表示学习方法SRLIM，通过在代理模型的训练过程中保留节点的拓扑结构，生成更可靠的梯度信息，这些信息可以指导生成具有高可转移性的对抗性扰动。

发表在2022年WSDM会议上，作者是浙大的，引用量11。

WSDM会议简介：全称Web Search and Data Mining，互联网搜索和数据挖掘领域的顶级学术会议，CCF B。

查询会议：

• 会伴：https://www.myhuiban.com/
• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://dl.acm.org/doi/10.1145/3488560.3498481
• 开源代码：None

0、核心内容

背景与动机：

• 灰盒图攻击的目标是通过有限的知识，使用不易察觉的攻击手段来破坏受害者模型的性能。
• 攻击者无法看到受害者模型的细节和测试节点的标签。
• 现有的研究主要集中在如何使用梯度来创建扰动，而没有深入探讨如何从代理模型中获得更可靠的梯度。

代理模型表示学习：

• 代理模型是在监督下训练的，用于获取节点属性或图结构上的梯度信息。
• 论文指出，一般的节点分类模型在表示学习过程中丢失了节点的拓扑结构，这对于攻击者来说是一个可利用的先验知识。

SRLIM（Surrogate Representation Learning with Isometric Mapping）：

• 提出了SRLIM方法，通过等距映射保留代理嵌入中的拓扑结构。
• SRLIM通过等距映射约束节点从输入层到嵌入空间的拓扑结构，保持节点在传播过程中的相似性。
• 实验证明，SRLIM通过提高基于梯度的攻击者在非目标中毒灰盒场景中的攻击性能，证明了其有效性。

相关工作：

• 讨论了修改节点特征、修改图结构和节点注入等三种攻击图结构数据的方法。
• 介绍了不同的攻击方法，包括Nettack、RL-S2V和基于梯度的攻击策略。

预备知识和定义

• 介绍了图的表示、GNN模型的背景和节点分类任务。
• 讨论了基于梯度的边扰动方法，如Metattack。

方法论

• 讨论了输入层拓扑信息丢失对梯度和攻击可转移性的影响。
• 提出了一种方法，使得嵌入层的节点特征在代理模型训练过程中保留输入层的拓扑结构。

实验

• 使用Citeseer、Cora和Cora-ML数据集进行实验，比较了SRLIM与其他基线模型（如DICE、Meta-Tain、Meta-Self和EpoAtk）在不同扰动率下的攻击性能。
• 实验结果表明，SRLIM在大多数情况下表现优于其他方法，证明了其在灰盒攻击中的有效性。

可视化

• 通过PCA可视化展示了不同模型的嵌入层，证明了SRLIM在保留拓扑信息方面的优势。

结论

• SRLIM通过等距映射学习拓扑结构，提高了代理模型提供的梯度的可靠性，从而提高了灰盒攻击的可转移性。

论文的主要贡献在于提出了一种新的代理表示学习方法，通过保留拓扑信息来提高灰盒图对抗攻击的可转移性。

1、先验知识

① 什么是灰盒攻击的可转移性（the transferability of gray-box graph adversarial attacks）？

灰盒攻击的可转移性指的是攻击者生成的对抗性扰动能够在不同的模型之间有效传播的能力。在灰盒攻击的场景中，攻击者对目标模型（受害者模型）有有限的了解，但并非完全一无所知。可转移性强调的时攻击手段的通用性和适应性，即使在目标模型的具体细节未知的情况下，也能对模型造成影响。

其实说白了就是该攻击方法适用于不同的神经网络模型。

有限的知识：攻击者对受害者模型的结构、参数或训练过程只有部分了解。

代理模型：攻击者通常会训练一个代理模型来模拟受害者模型的行为。代理模型用于生成对抗性扰动，这些扰动随后被用于攻击真实的受害者模型。

拓扑信息：在图数据中，节点的拓扑结构（即节点之间的连接关系）是攻击者可以利用的重要信息。保留这种拓扑信息可以提供攻击的可转移性。

泛化能力：攻击手段需要能够在不同的数据集或模型架构上有效，即使这些模型与代理模型不同。

攻击效果：可转移性高的攻击能够导致受害者模型在预测任务上的性能下降，例如增加错误分类的比例。

鲁棒性：具有高可转移性的攻击不容易被模型的微小变化所影响，因此在不同的模型实例上都能保持其效果。

在论文中提出的SRLIM方法，就是为了提高灰盒攻击的可转移性而设计的。通过在代理模型的训练过程中保留节点的拓扑结构，SRLIM能够生成更可靠的梯度信息，这些信息可以指导生成具有高可转移性的对抗性扰动。

2、展开研究

① 现有问题&解决方法

现有工作主要集中于使用梯度来创建扰动，而没有研究如何从代理模型中获得更可靠的梯度。

我们将模型的表示学习过程视为学习节点从输入层到嵌入层的映射。

作为一个独热标签训练的分类器，GNN可以将一个节点映射到嵌入层中相应聚类的质心附近，但难以捕获节点之间的拓扑关系。

如图1(a)所示，在基于分类的表示学习过程中，输入层节点的拓扑部分丢失，使得输入层节点映射到嵌入层时，输入层节点之间的相似性混淆。

图1：代理模型映射节点从输入层到嵌入层的示意图。(a)中拓扑结构在映射过程中丢失；(b)中在映射过程中保留拓扑信息。

基于损失函数的反向传播，输入层上的梯度与嵌入层上的拓扑结构（节点间的相似性）直接相关，而与输入层上的拓扑结构并不完全相关。

因此，攻击者产生的基于梯度的扰动受到代理模型嵌入层映射的影响，成为特定于该模型，同时失去对其他模型的泛化。

考虑到受害者模型的未知性，为了提高攻击的可转移性，本文提出代理模型应在嵌入层和输入层中保持节点拓扑的一致性。

为此，提出了等距映射代理模型表示法SRLIM，该方法保持了节点从非欧输入空间到欧式嵌入空间的拓扑结构。

我们引入图测地线距离来表示输入空间中节点之间的相似性，并使用额外的损失约束节点的映射为等距。

SRLIM的代理模型学习了如何保持从输入层到嵌入层的节点相似性。

因此，该模型在数据层上的导出梯度和输入层上的节点拓扑之间建立了一个连接。

② 本文贡献

1）讨论了对于灰盒攻击代理模型是通用GNN时表示学习中丢失拓扑的不足之处，并提出代理模型应该保留从输入层到嵌入层的节点拓扑。

2）提出了SRLIM（使用等距映射的代理表示学习），使模型能够学习拓扑结构。它结合了测地线距离来估计图上节点之间的相似性。通过保持节点从输入层到嵌入层的相似性，SRLIM可以将拓扑信息传播到嵌入层。

3）通过比较SRLIM的攻击性能与其他基准模型上的攻击性能来验证本文方法的有效性。

3、Methodology

① 为什么拓扑重要？

假设有节点$v_a,v_b,v_c$和集群$c_{\alpha },c_{\beta },c_{\gamma }$。每一个集群（cluster）表示一个类别的节点在输入或嵌入空间上的分布。节点$v_a$