人工智能里改了一条事实，不能当成反方向也改了。你把甲在乙改成甲在丙，问乙里有什么，它仍可能不提甲。改到的常常是你写进去的那串字，不是那个东西本身。换一种说法、提问里不出现原来的字，都要另测。改完它比以前更爱提这条新事实，也不等于你改到了原因。一次看起来通了，先记成相关。

人工智能改写事实的痛点是一个例子被说成把知识改掉了

演示通常很干净。原来它说某座塔在某一座城。你改一处，换一批句子问这座塔，它改口了。于是结论变成：事实存在某个地方，改那一处，相关的话都会跟着变。

跟着变的范围比这句话小。反方向常常不变。你问那座新城有什么塔，它不一定把你改过的塔算进去。另一种语言里的同一个东西，也常常还是旧的，因为你改的是一种写法，不是所有指着它的说法。提问如果完全不用你改过的那串字，只是描写，它也可能想不起这处改动。

还有过度。改完之后，一提到原来的主语，它就拼命把新事实说出来，比改之前提起旧事实更凶。这不像把一条知识换干净了，更像这条新说法被加重了。加重可以被当成成功，如果成功的定义只是更常说出你要的词。

人工智能验收一处改写的步骤：反向另测、另一种说法另测、不用原词另测、过度提起单列、通了只记相关

1. 改完甲到丙之后，必须从丙问回甲。问不回，不得写双向都改了。
2. 同一个东西的另一种叫法单独再测。没测，不得写概念已改，只能写这种写法改了。
3. 提问里故意不放原来那串字，只描写。描写问不出来，这列失败。
4. 记它提起新事实的频率，并和改之前提起旧事实的频率比。明显更凶，单列成加重，不叫改干净。
5. 四列里只要有一列没做，结论最高只能写到：在含原词的句子上看到了相关变化。

上表五行都要有结果。缺一行，对外只能说看到了相关，不能说找到了存放事实的地方。

人工智能现场用四问把一次漂亮演示拆开

演示可以留着，但旁边必须有四问的答案。我们见过只留第一问：换一批含有原词的句子，它都说对新事实。这只证明原词还在的时候，新说法会被读出来。原词是你改的时候用的那串字。它在，不稀奇。

反向那问要写成完整的一句，不能写成应该也会。应该也会是没测。另一种叫法包括别的语言、简称、外号。你不测外号，就不要对用户说这个东西的资料已经更新。用户不会只用你改过的那一种写法来问。

加重要有数，哪怕是粗数。改前十次里提起旧事实几次，改后十次里提起新事实几次。新的次数高很多，就写加重，并决定这算不算你能接受的副作用。不写次数、只说感觉更准确了，这列作废。

四问不要合成一个通过率。反向失败、原词问法成功，两件事都留下。合成之后，人只会看见大多通过，反向的失败就没了。没了的那一问，按没做。缺的次数和通过的次数分两列写，不许平均。正式回答在四问分开记清之前，继续走改写之前的说法。

相关和原因分开写。你看见改一处、某些句子跟着变，这是相关。原因是说你知道它为什么变、没改到的方向为什么不变。原因没写出来，标题里不能出现已经定位、已经改掉知识这种话。标题最大只能到：含这些字的问法变了。

人工智能常见翻车是用一个方向的成功覆盖所有说法

一个方向最好做演示，因为你知道该用哪串字。演示越好，越该强制做反向和换说法。不做，演示只服务这一个方向。

另一类翻车是把加重当成记得更牢。记得更牢如果是指什么都往新事实上扯，那是干扰别的回答。干扰要进副作用，不进成功。

还有一类是改完就发到正式回答里。四问缺任何一问，正式回答仍走旧的。缺的那问补上并通过之前，不得说资料已更新。

结论：人工智能改一条事实，至少用反向、另一种说法和不含原词再测一遍

含原词的问法变了，只说明这一问变了。反向、外号、不出现原词，各自要有结果。提起得更凶要单列。四问没齐，结论停在相关，不升到原因，也不升到知识已经改掉。

你下次说已经把这条事实改掉了，先看反向那一问有没有做。没做，先不要写成双向都改了。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源