文献阅读：Google发布的LLM求解形式化数学证明的智能体框架LEAP

原创于 2026-06-29 22:21:20 发布 · 73 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#LLM #Lean #Math #Agentic

LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks

标题：通过智能体框架加速LLM在形式化数学中的应用
arXiv:2606.03303v2 | Google

一、背景

LLM在使用自然语言进行数学推理上取得巨大进步，然而基于自然语言生成的解答往往存在逻辑谬误与幻觉问题，且难以自动化方式验证。这种验证对自动化系统和人类都非常困难，文章认为通用LLM在单轮定理证明任务中的瓶颈是难以一次性生成冗长、复杂且无误的证明过程。但是LLM具备专用模型所不具备的互补能力：出色的非形式化推理能力、指令遵循能力、工具调用能力以及自我修正能力。这些特性使其十分适用于智能自动定理证明框架，该框架会将证明构建过程拆解并迭代优化。因此，文章提出LEAP，一套依托LLM完成形式化数学推理的智能框架，借鉴人类解题思路，先生成有向无环图DAG的证明规划，再基于规划生成Lean形式证明，并借助编译器反馈迭代修正证明中的错误。

二、方法

在这里插入图片描述

（一）概述

图1展示了LEAP的工作流程。给定一条输入定理，LEAP会将其对应的Lean语句注册为根目标，并在AND-OR DAG（与或有向无环图）中表示为OR节点。处理待证明目标时，状态读取器会提取该目标的命题、依赖项及相关引理。随后LEAP会先尝试直接证明：生成非形式化证明，转换为Lean代码，并通过Lean编译器校验。若直接证明失败，LEAP会切换至分解策略：把大问题拆解成小问题，它先用自然语言写一个证明蓝图（提出需要几个中间引理来辅助证明），然后把这个蓝图翻译成 Lean 语言的“证明草稿”。这份草稿的逻辑是：假设我们未来能证明那些新提出的中间引理，那么当前定理就成立。这份草稿中：主定理主体不含sorry占位符，仅在新提出的引理陈述中允许使用sorry。若Lean编译器认可该草稿，则将其添加为AND节点，提出的引理作为子OR节点加入。一旦所有子子目标均得证，父目标也随之得证。经过验证的草稿传输至状态写入器，校验本次更新能维持无环特性后再提交至DAG。最后，智能体递归处理新生成的子目标。
该工作流依赖三项紧密耦合的设计选择：

基于DAG的分层记忆缓存机制——留存推导进度并在不同分支间复用引理；
非正式与正式交替规划机制——将自然语言推导策略与可执行的Lean代码建立关联；
验证导向型证明搜索机制——借助编译器反馈与LLM评审对候选分支执行采纳、修正、拆分或舍弃操作。

（二）基于DAG的分层记忆缓存机制

LEAP不仅使用AND-OR DAG记录证明进度，还借此结构化分层记忆缓存。

OR节点：代表待证明目标或引理命题，任意一个均可通过任意有效的证明策略完成推导；
AND节点：代表候选分解式，其成立与否取决于能否证明所有构成子目标。
DAG提供两大核心优势：

单调精细化：一旦目标被分解为支撑子目标，后续检索可着重拓展并解析这些后继节点，无需重构已确定的依赖顺序。这一特性将局部证明探索与全局证明组织分离——个别证明尝试可被修改、扩展或舍弃，而DAG始终保留整体证明方案的稳定依赖结构。
引理记忆化：中间引理陈述作为共享证明节点存储，可在不同分支遇到相同子问题时复用。此外还支持预期性引理规划：在生成蓝图时，LEAP可提出当前并非必需但未来可能支撑后续步骤的辅助引理陈述，这些前瞻性引理保留在图内存中。
由此形成的依赖结构也提升了透明度：清晰暴露哪些目标仍开放、哪些引理已解决、哪些节点阻塞下游进展，为人类与AI协作提供了可解读的蓝图式工作空间。

（三）非正式与正式交替规划机制

如图1所示，直接证明路径与蓝图分解路径都会穿过非形式化证明草稿这一环节。这体现了LLM与Lean的互补优势：LLM擅长非形式化推理、策略生成与优化完善；Lean提供严格的机器可验证证明。

直接证明模式：LEAP先针对当前目标生成一段非形式化论证，再将其转换为候选Lean证明。
分解模式：草拟一份非形式化思路框架，说明如何将总目标拆解为若干辅助子目标，随后转化为Lean草稿记录推导所需的依赖关系。
两种模式下，非形式化草稿都在形式化推导前搭建起规划空间，相比单纯直接生成代码，构建的证明稳定性更高。这种交错呈现也让证明过程更易解读：每一次形式化推导都会搭配一段非形式化逻辑说明，用户可借此查看某一证明步骤或拆分思路的提出依据，而非只能阅读Lean代码或编译器反馈。

（四）验证导向型证明搜索机制

LEAP在两个层级使用验证机制：

编译器级验证：Lean编译器形式化地校验候选证明与草稿，确保接受的代码语法有效且类型正确。对于证明草稿，LEAP仅允许在所提出的子目标（引理）处使用sorry占位符。这维持了证明DAG的AND-OR语义：一旦所有被引用的子目标得证，父目标也随之得证。
规划级LLM评审：蓝图提出新子目标后，LLM评审器评估分解的质量——子目标是否与父目标相关、是否使问题更易解决、是否提供完成证明的合理路径。这一规划级评审对复杂目标尤为关键，因为Lean草稿可能在语法合法的同时引入了定义不当或并不比原命题更简单的子目标。若缺少此过滤，智能体可能浪费搜索预算在无实质进展的分支上。
LLM评审器起到搜索过滤器的作用：识别无前景的分解、触发回溯、鼓励探索替代策略。当前LEAP使用简单的DFS配合回溯遍历DAG。

三、Lean-IMO-Bench

文章引入Lean-IMO-Bench——基于Luong等人(2025)的IMO-ProofBench构建，包含60道问题。

数据划分：30道Basic集 + 30道Advanced集
- Basic集：pre-IMO至IMO-Medium难度，含8道代数、8道组合、8道数论、6道几何
- Advanced集：至IMO-Hard难度，含8道代数、8道组合、6道数论、8道几何
形式化：由Lean专家手工形式化并验证全部60道题目的陈述
特点：题目为IMO级别，所需数学背景初等，期望Lean解答简洁，摒弃因规范化复杂现代数学理论而产生的额外开销。
三类评估任务：自然语言证明、形式化定理证明、形式化证明翻译
基线表现（表1）揭示明显鸿沟：

任务	模型	Basic	Advanced
自然语言证明	Gemini 2.5 Pro (Pass@1)	55.2%	17.6%
形式化定理证明	Gemini 3.1 Pro (Pass@128)	20.0%	3.3%
形式化证明翻译	Gemini 3.1 Pro (Pass@128)	20.0%	3.3%

模型在自然语言下能解决的问题，在形式化上表现大幅下滑，说明瓶颈不在数学推理本身，而在可靠生成Lean代码。

四、实验

（一）Putnam 2025结果

Putnam 2025包含12道北美本科数学竞赛题目（2025年最高分110/120，中位数仅2）。表2结果显示：
在这里插入图片描述

LEAP成功解决全部12题，将基准解决率从直接形式化的0%提升至100%。Hilbert因递归搜索导致O((n·b)^d)的指数复杂度（𝑛为引理重试次数，𝑏为平均分支因子，𝑑 = 10为最大证明深度），每个rollout限时7天。LEAP通过分层记忆缓存支持独立分支复用共享中间引理，显著缓解指数搜索复杂度。

（二）Lean-IMO-Bench结果

在这里插入图片描述

LEAP在代数与数论两类中保持100%解决率（不论难度），在组合与几何上因形式化固有困难仍有挑战。几何类别所有方法解决率近乎为零。

五、结论与展望

LEAP的成功表明，现代通用LLM在搭配适当结构化脚手架后，具备严谨领域任务的实质性推理能力。在形式化数学中，这种脚手架自然表现为证明分解 + 验证引导精细化：模型将复杂定理拆解为更小子目标，Lean编译器逐形式化步骤推导。
未来工作的核心挑战是如何高效遍历所得证明树：随分解产生越来越细粒度的子目标，搜索空间快速膨胀。未来系统应改进分支优先级排序、分解策略、以及跨大规模证明搜索的算力分配——这些进展对扩展智能体形式化证明系统至更复杂数学问题至关重要。