人工智能对齐别跳过三阶段。不是加一句人设。2026年先用示范做监督微调，再拿成对偏好训奖励模型，最后近端优化抬奖励并用散度拉住参考策略。奖励升而散度炸，是刷分。有用和安全不能混训。四列一起报：奖励、散度、奖励模型准确率、熵。跳过监督微调直接强化学习，方案作废。

人工智能很会说好话，痛点在优化目标被换成刷奖励

监督微调把示范变成可跟的起点，没有它，奖励模型面对的是乱采样。奖励模型吃同一提示下的赢句和输句，让赢句分数高于输句。损失是分数差经过S形之后取负对数。准确率是它还能不能判对人的选择。准确率不高就拿去优化策略，等于用一把歪尺子去拉模型。

第三阶段从当前策略采样，奖励模型打分，算与参考策略的散度，目标是奖励减去系数乘散度。系数大，不敢离示范；系数小，容易为高分学会讨好、重复、钻空子。近端更新还限制单步走太远。优势函数用这次奖励减同一批平均，正优势加强，负优势减弱。熵掉光了，策略变死，表面上奖励稳、实际上不会应对新提示。

可视化应能单步走完三阶段，并切换有用、安全两套剧情。有用剧情里赢的是具体可执行的回答；安全剧情里赢的是拒做有害的回答。两套奖励模型不能默认共用。调散度系数时，看奖励和散度是否一起动：奖励升、散度几乎不动，才像约束还在；奖励升、散度飙，就是跑飞。

评测不能只看平均奖励。奖励模型会被策略钻空：表面礼貌、内容空，分数却高。要抽查真实偏好一致率，并且把参考策略的回答放在旁边。离开参考太远的高分，优先当过拟合奖励模型，不当对齐成功。

人工智能对齐2026五步：先示范，再成对奖励，再带约束优化

1. 三阶段缺一不可。跳过监督微调直接强化学习，方案作废。
2. 奖励模型必须用成对赢输，并报准确率。准确率不过门，不准进第三阶段。
3. 优化目标必须含相对参考的散度。没有惩罚项，当刷分。
4. 有用和安全分数据、分模型、分系数。混训要单独证明不互相伤害。
5. 成绩单四列：奖励、散度、奖励模型准确率、熵。只报奖励，不准发。

可视化里的平均奖励、散度、奖励模型准确率、策略熵要能随逐步训练刷新。系数和步数应可调，但发布时必须给出选定组合下的四列，而不是只给动画。

两处只有对着跑飞曲线才清楚。其一，奖励模型在对比很接近的句子上最容易翻。准确率要按难例分层，不要被明显的好坏对拉高。其二，熵掉到接近零时，再训只会把同一句说得更死。熵列要设下限，低于下限停训，不要用奖励还在涨当继续训的理由。

建设者该把三阶段和四列指标写成对齐交付清单。管上线的人，该拒收只有「更听话」演示、没有散度和奖励模型准确率的方案。没有这两列，听话可能是在讨好尺子。

结论：人工智能对齐的稳，稳在奖励上升时还被参考策略拉着，而不是稳在平均分更好看

示范、成对奖励、带散度的近端更新。分场景。四列一起报。仍跳阶段或只报奖励，跑飞会在安全剧情里先出现。

你下次验收对齐，先看四列和有用/安全是否分开；散度在飙，奖励先不要写进上线材料。奖励模型准确率要按难例分层，明显的好坏对会把准确率刷高。熵掉到接近零就停训，不要用奖励还在涨当继续的理由。

现场还要防口号替换验收。把「已经会搜、已经会反传、已经会对齐」写成周报，不等于启发可采纳、梯度没消失、约束还在。周报可以写，门禁必须绑在对照表上。

若只能改一处：先把「看起来学会了」从唯一成功标准里拿掉。演示可以记，启发匹配、饱和检查、三阶段对齐三件跟不上就算事故。

现场还要防口号替换验收。把「已经会搜、已经会反传、已经会对齐」写成周报，不等于启发可采纳、梯度没消失、约束还在。周报可以写，门禁必须绑在对照表上。

若只能改一处：先把「看起来学会了」从唯一成功标准里拿掉。演示可以记，启发匹配、饱和检查、三阶段对齐三件跟不上就算事故。

现场还要防口号替换验收。把「已经会搜、已经会反传、已经会对齐」写成周报，不等于启发可采纳、梯度没消失、约束还在。周报可以写，门禁必须绑在对照表上。

若只能改一处：先把「看起来学会了」从唯一成功标准里拿掉。演示可以记，启发匹配、饱和检查、三阶段对齐三件跟不上就算事故。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源