HGT实战：如何用Transformer处理动态异构图数据（附PyTorch代码）

HGT实战：如何用Transformer处理动态异构图数据（附PyTorch代码）

在现实世界的复杂系统中，数据很少是整齐划一的。想想学术合作网络：这里有学者、论文、会议、机构等多种类型的实体。一位学者（节点类型A）可以“发表”（边类型1）一篇论文（节点类型B），而这篇论文又“在”（边类型2）某个会议（节点类型C）上发表。更关键的是，这些关系并非一成不变，它们随着时间演变——2020年的合作模式与2024年可能截然不同。这种节点类型多样、边类型多样，且交互具有时间戳的数据结构，就是动态异构图。对于数据科学家和机器学习工程师而言，处理这类数据一直是个棘手的挑战，传统同质图神经网络（GNN）或静态异构图模型往往力不从心。

近年来，Transformer架构因其强大的序列建模和全局依赖捕获能力，在NLP和CV领域大放异彩。一个自然的想法是：能否将Transformer的“注意力”魔法引入图的世界？HGT（Heterogeneous Graph Transformer） 正是这一思想的杰出实践。它并非简单套用，而是对Transformer进行了深度改造，使其能够理解异构关系语义并感知时间动态，从而成为处理Web级动态异构图的利器。本文将从实战角度出发，手把手带你理解HGT的核心思想，并附上可运行的PyTorch代码片段，帮助你快速上手，解决实际中的大规模动态图学习问题。

1. 理解动态异构图与HGT的设计哲学

在深入代码之前，我们必须先厘清核心概念。一个异构图可以形式化为 G = (V, E, R, T)，其中 V 是节点集合，E 是边集合，R 是关系（边）类型集合，T 是节点类型集合。动态性则体现在每条边 e = (u, v, r, timestamp) 上，都附带了一个时间戳。

传统处理异构图的方法，如 HAN（Heterogeneous Graph Attention Network），依赖于预定义的“元路径”。例如，在学术网络中，“学者-论文-学者”是一条元路径，它定义了高阶的语义关系。HAN需要人工设计这些元路径，这不仅需要领域知识，也限制了模型的灵活性，无法自动发现未知的、复杂的关系组合。另一种方法 HetGNN 通过随机游走采样邻居，然后按节点类型分组进行聚合，虽然抛弃了元路径，但对关系语义的建模仍显粗糙。

HGT的革命性在于它彻底抛弃了元路径，并引入了“关系感知”和“时间感知”的注意力机制。 它的设计哲学可以概括为三点：

1. 语义定制化：为每一种可能的 <源节点类型, 边类型, 目标节点类型> 三元组设计独立的参数，让模型能深度理解不同关系下的交互语义。
2. 动态感知：通过创新的相对时间编码（RTE），让模型能够区分“昨天发生”和“十年前发生”的关联在重要性上的差异。
3. 可扩展性：面对数十亿节点的大图，全图计算注意力是不可能的。HGT设计了异构子图采样策略（HGSampling），使得在有限GPU内存下进行高效的小批量训练成为可能。

理解这三点，就抓住了HGT的魂。接下来，我们将从数据准备开始，一步步构建HGT模型。

2. 实战第一步：动态异构图的数据准备与处理

任何模型实战都始于数据。对于动态异构图，我们需要一种高效、清晰的数据结构来存储节点、边及其丰富的元信息。这里我们使用 dgl（Deep Graph Library）库，它提供了对异构图的原生支持。

假设我们构建一个简化的学术图，包含三种节点类型：author（学者）、paper（论文）、venue（会议/期刊）；以及三种边类型：author-writes-paper（作者写论文）、paper-cites-paper（论文引用论文）、paper-published_at-venue（论文发表于会议）。

首先，我们需要准备节点和边的数据。每条边都需要包含时间戳信息。

import dgl
import torch
import numpy as np

# 假设我们有一些原始数据
num_authors = 1000
num_papers = 5000
num_venues = 50

# 1. 创建异构图数据字典
data_dict = {
    # 边类型: (源节点id张量, 目标节点id张量)
    ('author', 'writes', 'paper'): (torch.tensor([0, 1, 2, ...]), torch.tensor([100, 101, 102, ...])),
    ('paper', 'cites', 'paper'): (torch.tensor([200, 201, ...]), torch.tensor([300, 301, ...])),
    ('paper', 'published_at', 'venue'): (torch.tensor([150, 151, ...]), torch.tensor([10, 11, ...])),
}

# 2. 为每条边添加时间戳特征
# 时间戳可以归一化到[0,1]区间，或保留原始整数。这里我们假设是整数年份。
edge_feat_dict = {
    ('author', 'writes', 'paper'): {'timestamp': torch.tensor([2019, 2020, 2021, ...])},
    ('paper', 'cites', 'paper'): {'timestamp': torch.tensor([2022, 2021, ...])},
    ('paper', 'published_at', 'venue'): {'timestamp': torch.tensor([2020, 2018, ...])},
}

# 3. 创建DGL异构图
hetero_graph = dgl.heterograph(data_dict)
# 将时间戳特征添加到边上
for etype in hetero_graph.etypes:
    if etype in [rel for _, rel, _ in edge_feat_dict.keys() if rel in etype]:
        # 这里需要根据实际边类型匹配，简化处理
        # 实际应用中需要更精确的映射
        hetero_graph.edges[etype].data['timestamp'] = edge_feat_dict[('author', 'writes', 'paper')]['timestamp'] # 示例，需替换

# 4. 添加节点特征
# 假设每种节点都有预训练的特征或随机初始化特征
hetero_graph.nodes['author'].data['feat'] = torch.randn(num_authors, 128)
hetero_graph.nodes['paper'].data['feat'] = torch.randn(num_papers, 256) # 论文特征维度可能不同
hetero_graph.nodes['venue'].data['feat'] = torch.randn(num_venues, 64)

print(f'异构图创建成功！')
print(f'节点类型: {hetero_graph.ntypes}')
print(f'边类型: {hetero_graph.etypes}')
print(f'作者数: {hetero_graph.num_nodes("author")}, 论文数: {hetero_graph.num_nodes("paper")}')

注意：在实际项目中，你的数据可能来自CSV、数据库或图数据库（如Neo4j）。关键是将它们转换为上述格式的字典。时间戳的处理至关重要，它将是后续RTE模块的输入。

对于动态图，我们经常需要根据时间进行划分，例如按时间划分训练/验证/测试集，或者进行动态链接预测（预测未来可能出现的边）。这需要在数据加载器层面进行精心设计。

3. HGT模型核心组件拆解与PyTorch实现

理解了数据格式，我们现在可以动手搭建HGT模型。我们将分模块实现，确保每一部分都清晰可理解。

3.1 相对时间编码（RTE）

RTE是HGT感知动态性的关键。它的目标是将两个节点间交互的时间差 Δt 编码成一个向量，并融入到注意力分数的计算中。

import math
import torch.nn as nn

class RelativeTemporalEncoding(nn.Module):
    """
    相对时间编码模块 (RTE)
    将标量时间差 Δt 编码为 d_model 维向量。
    """
    d