Contextual Attention Modulation: Towards Efficient Multi-Task Adaptation in Large Language Models

文章核心总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）在多任务适应中面临的知识保留与任务特化平衡难题，提出了混合上下文注意力调制（HyCAM）框架，核心包含以下内容：

1. 问题背景：传统全参数微调存在灾难性遗忘和资源消耗大的问题，现有参数高效微调（PEFT）方法在复杂多任务场景中表现不佳，难以平衡通用知识保留与任务特化需求。
2. 核心机制：提出上下文注意力调制（CAM）机制，通过动态调制自注意力模块的表示，选择性放大任务相关信号、抑制干扰信号，在保留预训练通用知识的同时增强任务特定特征。
3. 框架设计：HyCAM整合了共享全参数CAM模块（捕捉跨任务通用知识）和多个轻量化专用CAM模块（通过PEFT技术实现任务特化），并采用带负载均衡约束的动态软路由策略，实现自适应知识融合。
4. 实验验证：在问答、代码生成、逻辑推理等异质任务上进行了广泛实验，基于Llama、Mistral、Qwen等多个主流LLM家族验证，结果显示HyCAM相比现有方法平均性能提升3.65%，且收敛更快、参数效率更高。

二、创新点

1. 提出CAM机制：聚焦Transformer自注意力模块的动态调制，利用输入上下文生成调制权重，实现通用知识保留与任务特化的精准平衡，避免灾难性遗忘。
2. 设计HyCAM混合架构：