2025_NIPS_On the Role of Hidden States of Modern Hopfield Network in Transformer

一、文章主要内容总结

本文聚焦现代霍普菲尔德网络（MHN）与Transformer的关联，突破绝热近似的局限，深入探究两者的内在联系。核心内容如下：

1. 理论关联挖掘：过往研究表明绝热近似下MHN的状态更新规则与Transformer自注意力层等价，本文去除该近似后发现，引入MHN的隐藏状态可将这种对应关系泛化，进而提出新型注意力机制——现代霍普菲尔德注意力（MHA）。
2. MHA机制特性：MHA通过跨层累积注意力分数的指数移动平均，实现注意力权重的层间继承，无需新增训练参数，仅小幅增加计算复杂度（新增复杂度约(\bar{O}(T^{2))，远低于自注意力的(O(dT}2))）。
3. 实验验证效果：在Vision Transformer（图像识别）、GPT-2和LLaMA（文本生成）等模型上验证，MHA能系统提升任务性能（如GPT-2 perplexity降低、ViT在CIFAR100和ImageNet-1k上准确率提升），且在下游迁移任务中表现稳定。
4. 核心问题解决：从理论和实证两方面证实，MHA的隐藏状态可有效缓解Transformer深层存在的秩崩溃（rank collapse）和令牌均匀性（token uniformity）问题，避免令牌多样性丢失，改善深层网络训练困难和性能饱和问题。

二、文章创新点

1. 泛化关联框架：突破绝热近似限制，建立MHN与Transfor