2025_NIPS_Multi-Kernel Correlation-Attention Vision Transformer for Enhanced Contextual Understan...

文章核心内容与创新点总结

一、主要内容

本文针对视觉Transformer（ViT）在多尺度空间关系建模中存在的局限（难以有效融合细粒度局部细节与长距离全局依赖），提出了一种基于Hirschfeld-Gebelein-Rényi（HGR）理论的多核相关注意力视觉Transformer（MK-CAViT）。该模型通过多核架构、高效相关注意力机制和分层融合策略，在图像分类、目标检测、语义分割等任务中实现了性能突破，同时保持计算效率。

文章通过ImageNet-1K、COCO、ADE20K三大基准数据集验证了模型有效性，在不同规模（Tiny/Small/Base/Large）下均优于现有SOTA基线（如Swin Transformer、FasterViT等），并通过消融实验和跨域泛化测试（情感识别、医学影像、遥感图像）验证了核心组件的必要性和模型的鲁棒性。

二、核心创新点

1. 多核并行架构：采用3×3（细粒度细节）、7×7（中尺度语义）、15×15（全局上下文）三种并行卷积核提取多尺度特征，突破传统ViT单一补丁大小的限制，同时捕获局部与全局依赖。
2. Fast-HGR相关注意力机制：基于HGR最大相关理论，结合余弦相似度（局部令牌对齐）和迹正则化（全局分布一致性），高效建模非线性特征依赖，避免传统HGR的计算冗余，同时提供理论上的统计一致性和 Lipschitz 连续性保证。
3. 分层多尺度融合策略：分两阶段融合——先通过可学习门控融合小核与中核特征（