Graph-MLP

最新推荐文章于 2026-06-29 09:32:06 发布
原创 最新推荐文章于 2026-06-29 09:32:06 发布 · 1k 阅读 · 0
本文提出了一种名为Graph-MLP的新型模型，首次在节点分类任务中摒弃了传统GNN的信息传递机制。Graph-MLP仅包含多层感知机、激活函数和正则化层，通过NeighboringContrastiveLoss来利用邻接矩阵，实现在提高计算效率的同时，达到与GNN相当甚至超越的效果。模型在不损失性能的情况下简化了结构，提高了模型的稳定性和计算速度。

文章目录

Info

最近很热门的一篇文章

代码已经开源
https://github.com/yanghu819/Graph-MLP

1 Motivation

基于谱和基于空间的GNN的特征聚合方法都依赖邻接矩阵去完成信息传递
文章的motivation认为GNN里面的信息传递模块是不必要的

2 Contribution

提出了不使用信息传递机制的Graph-MLP，这是第一次应用在节点分类任务上

提出了Graph-MLP，去掉信息传递模块

model level仅包含MLP，激活函数，正则化层

loss level设计了neighboring contrastive loss，使用邻接矩阵去缩小MLP和GNN的差距

提出了Neighboring Contrastive loss

实验显示Graph-MLP的效果很理想，在提高计算效率的情况下能达到和现有GNN的同样效果，某些情况下甚至能超过现有的baseline

3 Solution

传统GNN计算方法

使用正则化后的邻接矩阵更新节点特征X
一般经过L层得到结点特征的最终表示

Graph-MLP

结构

结构
input：随机采样的B个结点，以及它们的特征

然后传入多层MLP，得到节点特征以及两个输出
公式化

其中X是结点特征矩阵，LN是图中的Layer Norm
Z 用作计算NContrast loss
Y 用作计算classification loss

Loss

在这里使用邻接矩阵的信息

  • NContrast loss

    计算公式


sim衡量两个节点的相似度，

最低0.47元/天 解锁文章
GraphMLP: A Graph MLP-Like Architecture for 3D Human Pose Estimation
m0_74163093的博客
03-23 1425
 本文整个架构的设计目的是将2D关节位置信息通过图结构化的MLP层提升到3D空间，从而实现3D人体姿态估计。通过结合空间和通道图MLP，GraphMLP能够有效地捕捉关节之间的局部和全局空间交互，提高姿态估计的准确性。此外，该架构还支持从单帧图像扩展到视频序列的处理，通过简单高效的方式捕捉复杂的时空动态。
【阅读文献笔记】GraphMLP: A Graph MLP-Like Architecture for 3D Human Pose Estimation
qq_46460379的博客
05-21 770
本文提出了一种简单而有效的图强化型多层感知机（GraphMLP）架构，用于三维人体姿态估计。该架构结合了多层感知机（MLP）和图卷积网络（GCN）的优势，构建了一个全局-局部-图统一的架构。GraphMLP通过将人体的图结构融入MLP模型中，能够捕捉局部和全局的空间交互，并利用图的连通性来建模人体姿态。此外，该架构还被扩展到视频领域，能够以极低的计算成本有效处理复杂的时序动态信息。实验表明，GraphMLP在Human3.6M和MPI-INF-3DHP数据集上均取得了最先进的性能。
《Graph-MLP Node Classification without Message Passing in Graph》阅读笔记
LW的技术小筑
07-24 1446
Overview ​ 传统GNN的相关工作都强调信息传递（message passing）的重要性，但是作者提出这不是必要的。为此作者设计了一种基于多层感知机的框架——Graph-MLP，该框架在前向传播的过程中并不涉及信息的传递，而是在计算Loss时隐式的引入邻接信息来弥补CNN和MLPs之间的差距。实验结果表明作者提出的框架相对于GNN而言具有更快的运算效率，同时在缺失边的推断场景下更具有鲁棒性（因为推断过程中不需要提供结点之间的邻接信息）。 ​ 作者在文中所作的贡献可以概括如下： 提出了第一个不利用
Graph Stacked Hourglass Networks for 3D Human Pose Estimation
weixin_45436729的博客
05-20 789
方法重复使用编码器-解码器，图形结构特征在三种不同尺度的骨骼中表示，获取局部和全局特征。使用不同深度中间特征的多层次特征学习方法。 目前的基于GCN的方法有一些局限性：图卷积利用所有关节点信息，可以看做是所有特征仅在“一个尺度”上处理，很难获取全局和局部信息的特征。其次，大多数现有方法都是用一种简单的架构，顺序连接图卷积层。然而，由于多尺度特征所需的上采样和下采样操作是在图像上定义的，并且图形具有不规则的结构，因此此类方法不能直接应用于图形结构数据。 方法贡献： 1.提出了适用于提取多尺度人体骨骼特征
CVPR-2024 三维人体姿态(3D Human Pose)相关论文10篇
weixin_42155685的博客
10-13 3633
文章解读: http://www.studyai.com/xueshu/paper/detail/2a3f36ffd0 文章链接: (https://openaccess.thecvf.com/content/CVPR2024/html/Liao_Multiple_View_Geometry_Transformers_for_3D_Human_Pose_Estimation_CVPR_2024_paper.html)In this work we aim to improve the 3D reasonin
图像到图模型的泛化：Graph-ViT/MLP-Mixer官方实现指南
gitblog_00072的博客
09-15 857
图像到图模型的泛化：Graph-ViT/MLP-Mixer官方实现指南 1. 项目介绍 Graph-ViT/MLP-Mixer 是一个针对图数据结构的深度学习框架，来源于ICML 2023的一篇论文，它将Vision Transformer (ViT) 和 MLP-Mixer的概念推广到了图神经网络（GNN）领域。这个框架旨在捕获图数据中的长程依赖性，并通过不同的图基多头注意力(gMHA)机制提供...
比GNN快且好的MLP来啦
weixin_45519842的博客
06-24 985
众所周知(并不是)，图神经网络通常遵循message passing框架，即：沿着节点之间的边进行信息的传播，并更新节点表示。上述方式是保持图上结构的好方法，也在很多任务上得到了验证。但是...
解密NRI模块架构：MLP/CNN编码器与Graph神经网络解码器原理解析
最新发布
gitblog_00985的博客
06-29 888
**Neural Relational Inference (NRI)** 是一个革命性的无监督学习框架，能够从观察数据中自动推断相互作用系统的底层关系图并学习系统动力学。本文将深入解析NRI的核心模块架构，包括MLP/CNN编码器与Graph神经网络解码器的原理和工作机制，帮助您快速掌握这一强大的关系推理工具。😊 ## 🎯 NRI核心架构概览 NRI采用变分自编码器（VAE）架构，其中*
Spatio-Temporal MLP-Graph 复现过程【笔记】
qq_43668996的博客
04-15 951
小白式教程，超详细 ，复现全过程以及出现的问题和对应解决方法。在自己电脑上复现的，非服务器复现，不过两者步骤差别不大。论文地址项目代码地址。
学习Graph相关领域遇到的一些好的文章
qq_45073095的博客
03-29 419
对于在学习Graph相关的研究时遇到的一些好的文章进行整理。（也可能包含各个方面的知识。）
Graph2Feat：基于知识蒸馏的归纳链接预测
BetrayFree的博客
03-31 471
尽管由于缺乏对图拓扑的访问，MLP在节点分类任务上的归纳偏差比GNN小得多，但由于其低推理延迟，它们在工业规模应用程序中获得了很高的欢迎。在训练结束后，Graph2Feat本质上成为了一个没有访问图拓扑的MLP，但具有GNN模型的归纳偏差和MLP模型的低推理延迟。对于MLP，它具有与基线相竞争的性能，这表明，通过正确的参数集，MLP可以达到与GNN相当的性能水平，特别是在较小的数据集上。其中， 是学生链路预测损失， 是 ， 的相似度得分， ， γ，β 是平衡监督损失与KD损失的超参数。
GCN的几种模型复现笔记
submarineas的博客
03-22 2227
本篇笔记紧接上文，主要是上一篇看写了快2w字，再去接入代码感觉有点不太妙，后台都崩了好几次，因为内存不足，那就正好将内容分开来，可以水两篇，另外也给脑子放个假，最近事情有点多，思绪都有些乱，跳出原来框架束缚，刚好这篇自由发挥。
【DL笔记】TextGCN在文本分类中作弊了？Bag-of-Words vs. Graph vs. Sequence in Text Classification论文笔记
Hansdas的博客
05-08 1134
标题有点标题党了，就是有关ACL2022一篇论文的一些笔记，按自己的理解写的，比较粗糙，细节建议阅读原文，有错误欢迎指出。
探索Graph-ViT-MLPMixer：革新图形处理领域的突破性工具
gitblog_00002的博客
06-16 533
探索Graph-ViT-MLPMixer：革新图形处理领域的突破性工具 Graph-ViT-MLPMixer Repository for Graph ViT/MLP-Mixer 项目地址: https://gitcode.com/gh_mirrors/gr/Gr...
论文浅尝 | Graph2Feat：基于知识蒸馏的归纳链接预测
开放知识图谱
11-27 938
笔记整理：刘治强，浙江大学硕士生链接：https://dl.acm.org/doi/10.1145/3543873.35875961. 动机尽管GNN在链路预测任务中表现出较高的准确性，但它并不是设计用于归纳设置下的链路预测。此外，由于对图数据的依赖性，GNN在大规模工业部署中显示出相当高的推理延迟。尽管由于缺乏对图拓扑的访问，MLP在节点分类任务上的归纳偏差比GNN小得多，但由于其低推理延迟，它...
Graph-ViT-MLPMixer 项目常见问题解决方案
gitblog_00982的博客
12-30 751
Graph-ViT-MLPMixer 项目常见问题解决方案 Graph-ViT-MLPMixer 是一个开源项目，旨在将 Vision Transformer (ViT) 和 MLP-Mixer 模型推广到图结构数据。该项目的主要编程语言是 Python。 新手常见问题及解决步骤 问题一：项目环境搭建 问题描述：新手在搭建项目环境时可能会遇到依赖库安装困难的问题。 解决步骤： 首先确保安装了最新...
【KD】2022 ICLR Graph-Less Neural Networks: Teaching Old MLPs New Tricks Via Distillation
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
06-08 629
在GNN和MLP之间架起一座桥梁，既能享受MLP的低延迟和无图依赖性，又能达到和GNN表现得一样好？即，这篇文章想要构建一个模型，这个模型既有MLP的低延迟和无图依赖性的优点，又可以达到和GNN相同的表现/预测准确率，从而解决GNN延迟性高的问题。...
Graph_convolution_深度学习基础_利用mnist数据集实现mlp/cnn和自编码器
weixin_51589123的博客
10-14 979
深度学习基础，利用mnist数据实现前反馈神经网络、卷积神经网络和自编码神经网络
【GNN-KD】2022 ICLR GLNN Graph-Less Neural Networks: Teaching Old MLPs New Tricks Via Distillation
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
08-12 655
将GNN蒸馏给MLP：实现准确且快速的图机器学习模型部署，有助于消除推理图的依赖性，从而使 GLNN 比 GNN 快 146×-273x 倍且性能不会降低。
多层感知机还在进步，关于深度学习中MLP的5篇最新的论文推荐
deephub
05-15 3984
1、MLP-Hash: Protecting Face Templates via Hashing of Randomized Multi-Layer Perceptron https://arxiv.org/pdf/2204.11054.pdf Hatef Otroshi Shahreza, Vedrana Krivokuća Hahn, Sébastien Marcel 用于身份验证的人脸识别系统的应用正在迅速增长。尽管最先进的（SOTA）人脸识别系统具有很高的识别性能，但为他们会为每个用户提取特征并存
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值