先给结论：智能体失败检测必须卡在动作发生时。它通过工具直接改环境，失败会造成资金、安全或关键流程损失。生成式评测看的是文本，拦不住已经发出的动作。要不要上实时检测，看三轴：赌注高低、结果可否撤回、架构给了它哪些能力。高赌注、不可撤回、工具链和记忆不受约束，就必须分层拦截：动作前、执行中、跨步骤。

为什么「我们有内容审核」仍拦不住智能体

痛点是把智能体当成会调用工具的聊天。聊天失败是一句错话；智能体失败是一笔转账、一封已发送的函、一条被覆盖的记录。设计选择和部署场景会影响何时失败，但直接造成事故的是实时动作。所以监测和干预点在运行阶段，不在模型卡附录。

不是所有助手都需要同一套控制。只总结、排期、写简介的，赌注低、可重来。能碰敏感数据和受监管领域、能改关键代码的，赌注高。检测要按档加码，而不是一律上最重的监控——监控本身贵，校准差会把人淹在误报里，也会把真失败漏掉。

我们关心的是会跨多步、会自己选工具的那几档。它们不仅继承底座模型的错，还会把错在步骤间放大。能力还早，但架构规范要在规模部署前先公开讨论。等部署铺开再补监测，会补在不可撤回之后。

五步把失败检测从日志收成门禁

1. 先给系统定级。只产出文本的，不要冒充已经在管动作风险。
2. 三轴打分：赌注、可否撤回、能力边界。任一轴到高档，实时检测从可选项变成必选项。
3. 控制要分层。动作前拦意图和权限；执行中拦异常轨迹；跨步骤拦复合失败。单点监测会漏类别。
4. 校准误报和漏报。淹死人的监测会被关掉；漏过转账的监测等于没有。阈值要按赌注调，不能全球一个数。
5. 评测要打动作链，不打单轮对错。没有共享评测，供应商会用演示成功率代替检测召回。

现场有三条。其一，不可撤回名单要短而硬：资金、删除覆盖、对外发送。这三件没有「先做了再人工看」。沙箱和带条件可撤回的接口，是把不可撤回改成可撤回的工程手段，不是文案。

其二，能力边界比模型分数更决定检测强度。预置工具和短时记忆，失败面窄；动态串工具、跨会话记忆、长程规划，失败会藏在步骤之间。给能力前先问监测能不能跟上。监测跟不上，能力就不该开。

其三，安全关键行业早就证明：运行中检测能减伤害，也能反过来约束设计。智能体要把这当成架构规范，而不是上线后的增值包。市场和规则若都不要求，检测会被成本挤掉。

度量五件事：是否按三轴定级、不可撤回是否动作前拦、分层是否覆盖前中跨、误报漏报是否按赌注校准、评测是否打动作链。五件说不清，所谓智能体安全是聊天审核换了皮。换皮不能当运行控制。

有人会说监测太贵。贵的是失败之后的损失和不可撤回。低赌注路径可以轻监测；高赌注路径的监测是业务成本，不是研究预算。

若只能改一处：给每个智能体填三轴，并规定高档必须有发出前拦截。填完之后，工具权限才会开始收缩。

结论：智能体的风险在动作上，检测也必须在动作上

赌注、可否撤回、能力边界决定强度；分层实时拦截决定能不能赶上。还用生成式审核当智能体安全，是把已经出手的失败当成还在草稿里。

你下次看智能体安全声明，先问转账和对外发送拦在哪一步。拦在事后，声明只证明有人会写日志。

现场还有一层容易漏：把演示里的一次成功当成系统已经可用。演示选的是会成功的样本，线上是会失败的样本。门禁要钉线上失败样本，不钉演示。

对外声明禁止「开源所以更安全」「贴了标所以已经透明」。开源只证明权重大家拿得到。拿得到会更快被改用途。用途进清单，安全另测。

建设者该把分列测做成版本必测。部署高权限智能体的人该拒收只有原则的安全节。安全节没有发布类型、没有失败检测、没有事故通道，权限不开。

若只能改一处：先把评分对象从「我们很负责」改成「卡在哪一类发布、哪一档失败」。改完之后，设计和评测才有地方挂钩。不改，讨论会漂回「行业有一份指南」。

现场还有一层容易漏：把演示里的一次成功当成系统已经可用。演示选的是会成功的样本，线上是会失败的样本。门禁要钉线上失败样本，不钉演示。

对外声明禁止「开源所以更安全」「贴了标所以已经透明」。开源只证明权重大家拿得到。拿得到会更快被改用途。用途进清单，安全另测。

建设者该把分列测做成版本必测。部署高权限智能体的人该拒收只有原则的安全节。安全节没有发布类型、没有失败检测、没有事故通道，权限不开。

若只能改一处：先把评分对象从「我们很负责」改成「卡在哪一类发布、哪一档失败」。改完之后，设计和评测才有地方挂钩。不改，讨论会漂回「行业有一份指南」。

本文侧重智能体生命周期与技能边界。若你要动手验证，优先用 Playground 做小任务压测；权限与托管再单独规划，避免「先装一堆再治理」。 相关：Playground · 创建智能体 · 学习中心