2025_NIPS_Mitigating Over-smoothing in Transformers via Regularized Nonlocal Functionals

一、文章主要内容总结

该研究聚焦于Transformer模型中的过平滑（Over-smoothing）问题——即随着模型层数加深，token表示逐渐趋于一致，导致模型表征能力下降。文章通过建立非局部变分去噪框架，从理论上解释了过平滑的根源，并提出了一种新型Transformer模型NeuTRENO，有效缓解了这一问题。

核心内容拆解：

1. 问题分析：Transformer的自注意力机制本质上是对非局部泛函（Nonlocal Functional）的梯度下降优化，该泛函具有促进信号平滑的特性，类似扩散过程，最终导致token表示趋同（过平滑）。通过随机游走分析进一步验证：深层自注意力的更新过程等价于随机游走的期望收敛，最终所有token收敛到同一常数向量。
2. 方法提出：为抵消平滑效应，提出正则化非局部泛函，在原有平滑泛函基础上添加保真项（Fidelity Term），惩罚自注意力输出与输入token的差异，强制保留原始token的独特信息。基于该泛函推导得到NeuTRENO模型，其自注意力计算在传统softmax注意力基础上，增加了首层value向量与当前层value向量的差异项。
3. 实验验证：在多个大规模任务上验证有效性：
   • 计算机视觉：ImageNet分类（Top-1准确率提升至73.01%）、ADE20K图像分割（SS MIoU提升至37.24%）；
   • 自