演示关心能不能跑通，生产关心第一万次还能否复现、账单是多少、一段藏在网页里的白字会不会把工具调走。同一输入可能走两轮也可能走八轮，不能靠读代码推断行为，只能靠观测。追踪按会话、轮次、操作三层：会话记租户和总词费，轮次记决策类型，操作记一次推理或一次工具。热存储只留元数据，完整提示词抽样进温存储，写入前脱敏。业务满意度掉了，要能下钻到任务成功率和模型超时，而不是对着一句「最近变笨了」开会。

评测比单轮问答难一个数量级。结果要对，过程里的工具选择也要对，还要看轮次和费用。碰巧答对但路径全错，复杂任务上必然翻车。评测集要同时写必含事实、禁用工具、步数和费用上限。用模型当裁判时，对调顺序防位置偏差，把简洁写成独立维度，换模型投票防自我偏好，并和人标注算一致性，低于约定阈值不要当门禁。提示词、模型、工具任一变更都走质量门：正确率不能明显回退，成本不能乱涨，安全失败数不能增加。影子运行、金丝雀、再全量，每阶段盯完成率和升级率。

词是新货币。模型分层能砍掉一半到八成费用：路由和分类走小模型，深度推理才走旗舰。把消耗归因到系统提示、工具定义、检索块和历史，常见发现是一半以上烧在每轮重发的说明上。单次必须有费用上限，没有上限的循环能在几分钟内吃掉整月预算。安全上更阴的是间接注入：用户话看起来正常，检索文档或工具返回里藏着「忽略以上指令」。入口拦恶意输入，出口拦泄漏和毒性，工具前用代码校验业务规则，不可逆操作进人审。人审不可扩展，能让模型按违规原因重写就不要直接拒绝，拒绝仍搞不定再升级；审核员看到的应是脱敏后的选择题，不是原始追踪。

所谓学习至少有三档，不要混为一谈。会话内根据「用表格」立刻改口，结束即消失；跨会话把失败教训沉淀成可检索经验；改系统提示和工具偏好等于改源代码，必须过评测、灰度、人批。安全策略、权限集合、可调用工具范围不能被学习改写。只优化完成率会教出捷径：跳过检查更快「成功」，答得更长更能拿高分。经验库要遗忘，提示词每次最多改几处，全量回归任一维度掉太多就回滚。这不是自我进化，是把凭感觉改提示词变成有数据的发布流程。

落地清单

• 上线前至少有五十条核心场景评测，门禁进持续集成。
• 提示词当源代码：版本、评审、灰度、五分钟内可回滚。
• 工具规则写成可单测的代码，不要写在提示词里「请不要删库」。
• 学习红线：不能突破安全、不能升级权限、不能扩展行为空间。

可观测、评测、预算、护栏不是以后再做的优化项。缺一项，就用事故和账单补课。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源