GraphGPS在OGB-LSC PCQM4Mv2上的性能表现：模型选择与训练技巧

GraphGPS在OGB-LSC PCQM4Mv2上的性能表现：模型选择与训练技巧

【免费下载链接】GraphGPS Recipe for a General, Powerful, Scalable Graph Transformer 项目地址: https://gitcode.com/gh_mirrors/gr/GraphGPS

GraphGPS是一个通用、强大且可扩展的图Transformer模型，特别适用于分子性质预测等图学习任务。本文将详细介绍GraphGPS在OGB-LSC PCQM4Mv2数据集上的性能表现，帮助你选择合适的模型配置并掌握关键训练技巧。

模型架构解析

GraphGPS的核心优势在于其创新的混合架构，结合了MPNN（消息传递神经网络）和Transformer的优点。模型主要由以下几个关键组件构成：

GraphGPS模型架构图，展示了位置编码、结构编码和图特征如何通过GPS层进行处理

• 位置编码（PE）：包括局部PE（如随机游走矩阵）和全局PE（如拉普拉斯特征向量）
• 结构编码（SE）：捕捉图的结构特征，如子结构信息
• GPS层：结合MPNN层（如GINE、GatedGCN）和Transformer层（如标准Transformer、Performer）

这种混合架构使GraphGPS能够同时捕捉局部图结构和全局依赖关系，非常适合分子图等复杂图结构数据。

PCQM4Mv2数据集介绍

OGB-LSC PCQM4Mv2是一个大规模分子性质预测数据集，包含约400万个分子，任务是预测分子的 HOMO-LUMO 能隙。该数据集是图机器学习领域的重要基准，对模型的性能和效率都有很高要求。

模型配置与性能对比

GraphGPS提供了多种预配置的模型参数，适用于不同的计算资源和性能需求：

从结果可以看出，GPS-deep 在官方验证集上表现最佳，MAE达到0.0852，其次是GPS-medium（0.0858）。考虑到计算效率，GPS-deep是性价比最高的选择。

关键配置文件解析

GraphGPS为PCQM4Mv2提供了多个优化的配置文件，位于 configs/GPS/ 目录下：

• pcqm4m-GPS.yaml：基础配置，使用Laplacian PE
• pcqm4m-GPS+RWSE.yaml：使用随机游走结构编码（RWSE），通常效果更好
• pcqm4m-GPSmedium+RWSE.yaml：中等规模模型，10层，384维
• pcqm4m-GPSdeep+RWSE.yaml：深层模型，16层，256维

这些配置文件可以通过命令行直接使用，也可以根据需要进行调整。

训练步骤与技巧

环境准备

首先确保安装了必要的依赖，特别是RDKit（用于分子数据处理）：

# 克隆仓库
git clone https://gitcode.com/gh_mirrors/gr/GraphGPS
cd GraphGPS

# 安装依赖
pip install -r requirements.txt
# RDKit is required for OGB-LSC PCQM4Mv2 and datasets derived from it.
conda install -c conda-forge rdkit

训练命令

根据你的计算资源选择合适的模型规模：

# "small" GPS (GatedGCN+Transformer) with RWSE: 5layers, 304dim, 6152001 params
python main.py --cfg configs/GPS/pcqm4m-GPS+RWSE.yaml

# "medium" GPS (GatedGCN+Transformer) with RWSE: 10layers, 384dim, 19414641 params
python main.py --cfg configs/GPS/pcqm4m-GPSmedium+RWSE.yaml

# "deep" GPS (GatedGCN+Transformer) with RWSE: 16layers, 256dim, 13807345 params
python main.py --cfg configs/GPS/pcqm4m-GPSdeep+RWSE.yaml

训练技巧

1. 数据集划分：GraphGPS默认将150k分子作为自定义验证集用于模型选择和早停，官方验证集被用作测试集。

2. 计算资源：

   • GPS-medium约需48小时训练
   • GPS-deep约需60小时训练
   • 推荐使用单个NVidia A100 GPU

3. 优化器设置：

   • 使用AdamW优化器，基础学习率0.0005
   • 采用cosine_with_warmup调度器，预热5个epoch
   • 启用梯度裁剪（clip_grad_norm: True）

4. 位置编码选择：RWSE（随机游走结构编码）通常比LapPE表现更好，建议优先使用 pcqm4m-GPS+RWSE.yaml 配置。

推理与提交

训练完成后，可以使用预训练模型进行推理并生成OGB-LSC排行榜提交文件：

# 下载预训练模型
wget https://www.dropbox.com/s/aomimvak4gb6et3/pcqm4m-GPS%2BRWSE.deep.zip
unzip pcqm4m-GPS+RWSE.deep.zip -d pretrained/

# 运行推理
python main.py --cfg configs/GPS/pcqm4m-GPSdeep-inference.yaml

# 生成的提交文件位于
results/pcqm4m-GPSdeep-inference/0/y_pred_pcqm4m-v2_test-challenge.npz

总结

GraphGPS在OGB-LSC PCQM4Mv2数据集上展现了优异的性能，特别是GPS-deep配置能够在保持较高效率的同时达到0.0852的MAE。通过选择合适的模型配置、优化训练参数和使用RWSE位置编码，你可以充分发挥GraphGPS的潜力，在分子性质预测等图学习任务中取得出色成果。

无论是学术研究还是工业应用，GraphGPS都提供了一个强大而灵活的图Transformer解决方案，值得尝试和进一步优化。

【免费下载链接】GraphGPS Recipe for a General, Powerful, Scalable Graph Transformer 项目地址: https://gitcode.com/gh_mirrors/gr/GraphGPS