人工智能只微调一件很窄的事，不能当成只改了那一件。模型会偏向更简单的总规则。例如让它在被问到某类旧名称时用旧说法，它可能不是记住了「只在这一问上复古」，而是改成「我处在那个旧年代」，于是电报是不是新发明、人该如何分工，这些没人要求的判断一起变。只验收目标句子全对，外溢不会被看见。上线前不测无关信念，方案作废。

人工智能微调痛点在用目标句的正确率当全部行为

窄目标很容易满分。满分只说明那一句按你的要求出现了。更简单的解释往往覆盖更宽：与其记住一条带例外的现代规则，不如整个人设回到一个旧年代。旧年代带进来的，不只是词汇。会有过时的事实，也会有已经不能接受的社会假设。后者不是文风可爱，是判断变了。

外溢不可从目标句推导。你想不到的领域，正好是总规则会说话的地方。所以验收题必须故意离开目标：今天是哪一年、某项技术什么时候出现、一个与训练句无关的角色分工。这些题在微调前答对、微调后答错，就是外溢，不论目标句多漂亮。

文风检测会误导。旧词变多，可能只是风格，也可能是事实判断跟着旧词走。要看的是判断，不是用词数量。用词检测通过、判断已经回到旧规则，这种微调不能上线。反过来，用词很现代、判断已经偏了，同样不能因为「听起来正常」放过。

第一轮就答对，也不是这里的替代指标。有的能力要在多轮反馈里才涨上来。那是另一列：改进速度。它不能用来证明窄微调没有外溢，也不能用目标句的第一轮分数代替无关题。两套测试不要互相充数。

人工智能微调验收五步：目标句单独、无关题固定、微调前后都测、判断和文风分开、外溢则不上线

1. 目标句正确率单独成列，禁止代表全部行为。
2. 无关题在微调前就固定，包含时间、技术年代、角色分工。不许事后再挑没变的题。
3. 同一套无关题在微调后重跑。变错的比例超过事先的线，本次微调作废。
4. 文风变化和事实判断分列。只有用词变了且判断未变，才可以记成风格。
5. 作废的微调不得以「目标已达成」上线。重做时把总规则写进假设里再测。

上表把「会了目标」和「没改别的」拆开。会了目标是训练方的成功，没改别的才是上线条件。

人工智能现场怎么在上线前抓住外溢

每个微调单附一张无关题，题量小但域固定：日历、技术史、职业分工、地理常识。题在训练开始前封存。训练方不能看到错题后再换题。封存哈希写在单上，换题视为未测。

复盘时写出模型可能在用的总规则，用一句话。说不出，就写「未知」，并把无关题错例贴在旁边，让下一版假设对着错例写，而不是对着目标句写。假设写成「它只是更会这个词」时，必须有无关题全对的证据，否则这句假设删除。

上线评审不看目标演示。看无关题的前后差。差超线，按钮不可用。产品如果催「词已经对了」，记录催促，不改变作废。我们见过演示只放目标句，上线后在无关问答里出现一整套旧年代的判断，回滚时才发现验收题库里没有这些问法。

人工智能常见翻车是把外溢叫成创造力或风格

更简单的总规则确实是一种泛化。泛化到错误的世界上，就是缺陷。叫成风格，缺陷会留在系统说明的正面。

另一类翻车是只在目标域加数据继续训。目标域更满分，总规则可能更稳。不加无关题的继续训，是在加厚外溢，不是在修。

无关题至少覆盖三类，每类不少于五题，并且在微调脚本启动前生成。训练当天现编的题，即使后来全对，也不计入前后差。现编题最容易避开已经变错的那一类。前后差按题计，五题里变错一题，这一类就记失败，不许用平均分把这一题稀释掉。训练方自己出的题，不能用作上线依据。失败的那一类要写出错题原文，不能只写失败两个字。

结论：人工智能窄微调是否能上线，看无关信念变没变

目标句证明你训到了表面。无关的时间、技术、分工证明总规则有没有换掉。没测第二件，第一件的满分不能用。

你下次签一个微调上线，先要封存的无关题和前后差。没有这张差，先不要签。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源