人工智能里一条数据平均看起来很重要，不能当成它塑造了你关心的那个行为。平均排名把所有输出揉在一起。你要管的常常是一个具体行为：某一种承诺、某一种拒绝、某一个数。看这个行为，就要把相关的一小撮数据轻轻改一下，或暂时拿开，再看这个行为动多少。动得大，才进塑造清单。几乎不动，就不要写成关键样本。排名可以留着做线索，不能代替这一下。

人工智能归因痛点在用全体敏感代替单点

全体敏感很好算，也很好排成一张表。表的前几名会被写成训练里最关键的数据。关键若指的是所有输出平均变动，这句话可以成立。关键若指的是你怕的那一个行为，前几名可能根本没碰它。碰它的那几条，可能排在很后面，因为它们只动一个窄的地方，平均分母太大，被稀释了。

拿开一条再看整体损失，是另一种平均。损失几乎不变，不表示那个行为没变。损失大变，也不表示那个行为变了。行为和损失是两列。只用损失做归因，会把不影响行为的大改动留住，把只动行为的小改动丢掉。

扰动要事先指定行为，也要事先指定幅度。事后看见哪个数变了再决定看哪个行为，清单就会长成你想要的故事。故事可以有，但塑造清单只收事先指定、并且动过阈值的那些。没过阈值的，写进无响应，不要升格成关键。

人工智能扰动验收五步：先指定行为、再改一小撮、记录动多少、无响应不得升格、平均排名降为线索

1. 写明要保护或要检查的行为，一句话，能被别人复核。
2. 每次只动一小撮数据。一次动太多，就分不清是谁。
3. 记录行为变了多少，不只记录整体损失变了多少。
4. 变幅低于事先写的阈值，标无响应。无响应不得进入塑造清单。
5. 平均重要性排名若与塑造清单冲突，以扰动结果为准，排名改标线索。

上表里，归因只发生在最后两行对得上的时候。前三行都还是线索。

人工智能现场怎么避免事后改故事

行为句和阈值写在扰动之前的记录里，时间早于结果。结果出来再改行为句，这次归因作废。我们见过排名前十的数据被写成决定了拒绝行为，扰动之后拒绝几乎不动，真正让拒绝翻转的是排名很后的几条短样本。报告若只贴排名，翻转不会出现。

一小撮的大小要写死。今天三条，明天三百条，两次不能比。比了也只能当作不同实验。不同实验的清单不许合并成一张关键样本总表。

无响应的数据若被业务方坚持留在关键名单，名单旁边必须有扰动记录。没有记录的关键两个字删掉。删不掉的对外材料，改回未归因。

人工智能常见翻车是用删数据的戏剧性代替测量

删掉一条，系统变了一个样子，很适合演示。演示没有事先的行为句，就只是戏剧。戏剧不能进塑造清单。清单要的是同一行为、同一幅度、可重复的那一次。

另一类翻车是只扰动损失，不扰动你怕的行为，然后用损失的敏感给行为写原因。原因栏空着比写错好。空着标成未测行为。未测行为的数据不得称为原因。

原因一旦写进培训材料，后面的人会按那份名单去洗数据。洗错名单，行为不会动，别的东西会坏。洗之前核对名单来自扰动还是来自平均排名。来自排名的，先补扰动。补完仍无响应的，从洗的范围里拿掉。拿掉的名单当天通知还在洗的人。通知没到就继续洗的，洗过的数据改回未归因，不得当成已经处理过原因。处理过原因这五个字要等扰动记录在场才能用。记录只有排名、没有行为动幅的，五个字继续禁用。禁用期间清洗名单冻结。冻结后仍在删数据的，删掉的部分恢复，恢复完才许再讨论原因。讨论若跳过恢复，直接写新的关键样本，新名单和旧名单一起作废，从头做扰动。从头做时行为句要重写，不许沿用上次没测过的那句。沿用了的句子从记录里划掉，划掉后重新编号。

结论：人工智能谁塑造了行为，要看扰动后那个行为动不动

平均排名是线索。损失变动是另一列。行为动了，才是塑造。三列不要互相填写。

你下次说这条数据很关键，先指出你看的是哪个行为、扰动后它动了多少。两格空着，先把它留在线索里。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源