人工智能评测把第一名加粗，不能当成结论。行业习惯是谁的数字最高就加粗，并不问这个差距是否盖过波动。一次运行的最高分，换一种抽样顺序就可能换人。要报的是多次的均值、散开有多大、以及和对手的差距是否仍然盖过这份散开。盖不过，第一名只是一次噪声。开放题还要有人工抽检当锚。没有这些，方案作废。

人工智能榜单痛点在把最高的那一个数当成能力

一次评测是从一个会波动的分布里抽到的一个数。分布散得开，单次数就会左右跳。跳出来的最大那个，正好是榜单喜欢的。于是排名奖励的是运气和重复次数，不是稳定的差。稳定的差要成对比：同一批题上，两个系统各跑多次，看差的方向是否反复出现，而不是各挑自己最好的一次放在一起。

开放题更不稳定，因为分数来自裁判模型或很少的人。裁判和人「大体一致」如果只有一个总比例，分歧会集中在最要钱的那类题上，总比例仍然好看。必须写出分歧落在哪些题。落在要点题上，总比例再高也不能当锚。锚是人工看过的那一批，而且要留原文，下周能复核。

自动指标在窄任务上和参考答案比，尚可。一到没有标准答案的题，自动指标和人的偏好会分开。这时加粗一个自动分，等于把尺子本身没校准这件事藏进排名。校准之前，排名只能叫内部实验，不能叫领先。

人工智能评测验收五步：多次均值、散开同报、成对比、差距盖过波动、开放题有人工锚

1. 禁止用单次最高分排名。至少报均值和散开。
2. 两个系统必须在同一批题上成对比较。各挑最好一次的对比作废。
3. 差距没有盖过散开，禁止加粗，禁止写领先。
4. 开放题要有人工抽检。抽检只报一个一致比例、不写题型的，退回。
5. 对外材料里的第一名，必须附上述三样。缺一不可发布。

上表把加粗从结论里拿掉。加粗若留下，只能加在「差距盖过波动」那一格已经成立之后。

人工智能现场怎么报一个评测

每张榜固定四列：题集、重复次数、均值、散开。重复次数少于事先定的下限，这张榜标记为探索，不得进入对外稿。对外稿的对比必须成对，随机种子和题的顺序写在附录。附录缺失，正文的名次删除。

开放题的人工锚不要求全标，要求抽在分歧上：裁判判高、人判低，以及反过来。每类留下数量和原文。只有一致样本的锚，是在证明尺子可爱，不是在测尺子。分歧比例本身要出现在正文，不能只出现一致率。

内部可以继续看单次最高，用来发现值得重跑的方向。这个数一离开内部笔记，就改称未检验。我们见过未检验的最高分进了标题，重跑三次之后名次倒过来，标题没有改，因为改标题比改实验麻烦。

人工智能常见翻车是用加粗代替成对比较

加粗是排版。成对比较是实验。排版不能证明两个系统的差不是噪声。评审若只看谁被加粗，实验就可以只跑到出现一个好看的最高分为止。

另一类翻车是散开写了，但写在脚注，正文仍用「显著领先」而差距并没有盖过脚注里的散开。显著这个词只允许在差距盖过散开时出现。没盖过，正文改成「一次均值更高，波动内」。波动内不是失败，是还不能宣传。

对外稿在发出前用脚本查加粗和「领先」是否出现在还没盖过散开的表上。查到就阻断，不靠编辑记忆。阻断记录留下，避免同一张表换标题再发出去。人工锚的分歧原文没有链接到这张表的，同样阻断。链接只算正文能点开的，脚注里的「详见内部」不算链接。阻断之后若要改表，改的是重复次数或成对方式，不是把最高分再挑一次。再挑一次的稿，按原阻断处理，不给第二次对外机会。第二次仍要走成对比较，并且重复次数不得少于被阻断的那一版，少了就继续阻断，不得放行。

结论：人工智能评测的第一名，要先过波动这道关

最高分说明这次抽到了高的。均值和散开说明高是否还在。成对比较和人工锚说明差是否对得上人和对手。四件齐了，才有第一名可写。

你下次要加粗一个评测结果，先放上重复后的均值、散开、以及差距是否盖过散开。三样空着，先不要加粗。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源