[论文学习]DP-Fusion:面向大语言模型的令牌级差分隐私推理-深度解析

最新推荐文章于 2026-07-06 12:54:03 发布

原创最新推荐文章于 2026-07-06 12:54:03 发布 · 206 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

论文学习

隐私

DP-Fusion: Token-Level Differentially Private Inference for LLMs

📖 概述

DP-Fusion 是由 MBZUAI（穆罕默德·本·扎耶德人工智能大学）的 Rushil Thareja、Preslav Nakov、Praneeth Vepakomma 和 Nils Lukas 等学者提出的一种面向大语言模型（LLM）的令牌级差分隐私推理（DPI）机制。该机制通过数学证明的方式约束上下文中的敏感令牌对 LLM 输出的影响边界，在文档隐私化任务中实现了可证明的隐私保护，同时将输出质量（困惑度）提升至现有最优基线方法的 6 倍。该论文已发表于 arXiv（2025年7月），并入选 ICLR 2026。

🔍 核心研究

问题定义

大语言模型在推理阶段不天然具备隐私保护能力。当 LLM 通过工具调用或外部数据库增强时，其生成的输出可能无意间泄露上下文中的敏感信息。现有的推理阶段隐私保护方法存在两大根本性缺陷：（1）缺乏可证明的隐私保证；（2）隐私与效用的权衡极差。典型场景如医院使用 LLM 辅助匹配病历时，患者的疾病史、治疗方案等个人可识别信息（PII）面临被重新识别的风险。

创新方法

DP-Fusion 的核心创新在于将差分隐私（DP） 从训练阶段拓展至推理阶段，并提出了一套完整的令牌级隐私保护框架。其技术灵感来源于 PMixED，后者在概念上类似于 PATE 和 SUBMIX——这些方法原本旨在实现对训练数据集中记录的差分隐私保护。DP-Fusion 通过 “基线-敏感-融合”三阶段机制，在令牌粒度上实现了可证明的隐私边界控制。

关键结果

隐私保证：DP-Fusion 可数学证明地约束上下文中的敏感令牌集合对 LLM 输出的影响。隐私-效用权衡由参数 ε 控制——ε=0 时完全隐藏敏感令牌，较高的 ε 值则以隐私为代价换取文本质量提升。
效用提升：在可比较的隐私水平下，DP-Fusion 实现了 6 倍 的效用提升（以困惑度衡量）。具体而言，在 ε 值范围为 16 至 66 时，DP-Fusion 的困惑度维持在 1.42 至 1.46 之间，而 DP-Decoding 和 DP-Prompt 等对比方法的困惑度超过 3.9，甚至高达数千。
安全增强：该令牌级影响边界同时缓解了越狱式提示注入攻击。

实际意义

DP-Fusion 为 LLM 在高风险场景中的安全部署提供了首个具备可证明隐私保证的推理方案。其应用价值体现在：

医疗文档处理：在匹配病历与症状时保护患者隐私
企业数据安全：防止 LLM 在工具调用中泄露密码等敏感信息
文档隐私化：对包含 PII 的文档进行改写，使攻击者无法可靠推断敏感内容，同时保持文本整体效用
合规需求：满足 GDPR 等隐私法规对数据保护的要求

🛠️ 技术细节

方法概述

DP-Fusion 算法包含四个核心步骤：

敏感令牌标注：识别并标注上下文中需要保护的敏感令牌子集
基线推理：在不包含任何敏感令牌的情况下运行 LLM，获得基线输出分布
敏感推理：在包含敏感令牌的情况下运行 LLM，获得敏感输出分布
分布融合：将两个输出分布进行混合，使最终输出与基线分布保持在有界统计距离之内

更细化的流程为：

（i）将敏感令牌划分为不相交的隐私组
（ii）每组运行一次 LLM
（iii）融合输出分布，使最终输出与“不揭示任何隐私组”时的基线分布保持在固定统计距离内

研究设定

维度	具体设定
任务	文档隐私化（Document Privatization）——对包含敏感内容（如 PII）的文档进行释义改写
隐私模型	差分隐私（Differential Privacy），以 ε 为隐私预算参数
理论基础	受 PMixED 启发，后者与 PATE、SUBMIX 概念相似
评估指标	困惑度（Perplexity）——衡量输出文本质量
基线方法	DP-Decoding、DP-Prompt 等现有 DPI 方法
开源资源	代码和数据集已公开：https://github.com/rushil-thareja/dp-fusion-lib；PyPI 包：dp-fusion-lib

📊 主要发现

隐私-效用权衡的突破性改进：DP-Fusion 在保持可证明隐私保证的同时，实现了远超现有方法的文本质量。在 ε 值 16-66 范围内，困惑度稳定在 1.42-1.46。
令牌级隐私粒度的可实现性：通过将敏感令牌分组并分别处理，DP-Fusion 实现了细粒度的隐私控制，用户可精确控制哪些信息受到保护以及保护的程度。
方法通用性：DP-Fusion 不依赖特定模型架构，可应用于各类自回归 LLM。
双重安全效益：除隐私保护外，DP-Fusion 的令牌影响边界机制还能缓解提示注入攻击，提供额外的安全防护层。
实际部署可行性：研究团队提供了完整的开源实现（包括代码库和 PyPI 包）以及在线演示，降低了实际应用门槛。

💡 深度洞察

1. 从“训练隐私”到“推理隐私”的范式转移

现有的大语言模型隐私保护研究大多聚焦于训练阶段（如 DP-SGD），通过在训练过程中注入噪声来防止模型记忆训练数据。然而，LLM 的实际部署场景中，推理阶段的隐私风险同样严峻——当用户向模型提供包含敏感信息的上下文时，模型可能无意间在输出中泄露这些信息。DP-Fusion 标志着隐私保护研究从“保护模型参数”向“保护推理上下文”的重要转向。

2. 分布融合的核心思想

DP-Fusion 的技术精髓在于不试图“教”模型忘记敏感信息，而是通过输出分布的受控融合来实现隐私保护。这种方法避免了传统方法（如直接删除敏感令牌）导致的效用急剧下降问题。其数学本质是：通过确保有/无敏感信息时的输出分布足够接近（在统计距离意义上），使得攻击者无法从输出中可靠推断敏感令牌的存在与否。

3. 与 PATE 框架的理论联系

DP-Fusion 与 PATE（Private Aggregation of Teacher Ensembles）框架存在深刻的理论联系。PATE 通过聚合多个“教师”模型的预测并添加噪声来实现训练数据的差分隐私；DP-Fusion 则将这一思想迁移至推理阶段——将同一 LLM 在不同输入配置（有/无敏感令牌）下的输出视为“教师预测”，通过融合实现隐私保护。这种类比为理解 DP-Fusion 的隐私保证提供了清晰的理论视角。