Hierarchical Federated Unlearning for Large Language Models

一、文章主要内容总结

该研究针对大型语言模型（LLMs）在实际应用中面临的隐私保护、不良知识移除需求，提出了一种名为FULM（Federated UnLearning Merge） 的分层联邦遗忘框架。核心目标是解决现有机器遗忘技术的两大关键挑战：一是遗忘需求具有连续性、异质性且分散化；二是数据存在非对称访问限制（客户端持有遗忘数据、服务器持有保留数据，双方无法共享敏感数据），导致域间与域内干扰，进而引发“遗忘不彻底”与“过度遗忘有用知识”的失衡困境。

文章的核心设计包括两部分：

1. 解耦遗忘与保留目标：通过基于LoRA（低秩适配）的任务专用适配器，将遗忘任务与保留任务分离训练（客户端训练遗忘适配器，服务器可选训练保留适配器），避免双目标联合优化的冲突；
2. 分层适配器融合策略：先基于余弦相似度对适配器进行聚类（相似数据分布或目标的适配器归为一类），再执行两阶段融合——类内采用投票式融合（如TIES方法）减少同类干扰，类间采用算术求和保留异质域独特信息。

实验基于WMDP、TOFU、MUSE三大遗忘基准数据集，对比了Avg、SUM、TIES等基线方法，验证了FULM在近独立同分布（near-iid）和异质数据场景下，均能在有效移除目标知识的同时，最大程度保留模型效用，实现遗忘性能与保留性能的平衡。

二、文章创新点

1. 联邦遗忘范式适配LLMs：首次针对LLMs提出实用化联邦遗忘框架，解决了分散化遗忘请求与数据非对称访问的核