在医疗、金融等强监管行业,智能体系统往往会在一个非常微妙的节点被叫停。不是因为模型不准,也不是因为系统不稳定,而是因为在评审会上,有人问了一个看似简单的问题:
“这句话是基于什么证据说的?”
如果这个问题只能靠工程师事后翻日志、查 Prompt、回忆模型版本来回答,那么系统在监管意义上,几乎等同于“不可上线”。这标志着一个清晰的分水岭:在强监管行业,智能体的目标已经不再是‘把事做完’,而是‘把事说清楚’。也正是在这里,“证据就绪”开始从一个合规附加项,变成系统设计的原生约束。
一、为什么“结果正确”在监管场景中远远不够
在通用场景中,智能体输出是否被接受,往往取决于结果是否有用。但在医疗、金融、保险、审计等行业,系统输出的每一句结论,都可能被用于决策、记录甚至法律依据。
在这些场景下,监管关注的不只是“你给出的答案对不对”,而是:
-
你依据了哪些被认可的信息源
-
是否遵循了既定的业务规则
-
在信息不足或冲突时,是否采取了保守策略
监管真正关心的是决策路径是否可被复核,而不是结果是否碰巧正确。这与许多智能体系统的设计理念存在根本冲突。大量系统是在“先让模型跑通任务”的前提下,再考虑如何补充日志、解释或说明。这种事后补救的方式,在强监管环境中几乎注定失败。
二、“证据面板”不是 UI 功能,而是系统能力
很多团队在意识到合规问题后,会尝试在前端增加一个“引用来源”或“参考文档”模块。但很快就会发现,这种做法解决的只是展示问题,根源问题还是存在。
真正困难的是:智能体本身是否知道自己为什么能得出这个结论。“证据就绪”的系统,要求任何一条结论性输出,都能一键展开一个与推理过程强绑定证据面板,这个面板至少包括三类信息:
<
359

被折叠的 条评论
为什么被折叠?



