人工智能新任务变好，不能当成旧任务还在。接着在新材料上训练，旧任务的成绩可以大面积掉下去，这就是灾难性遗忘。如果新材料和原来的分布差不多，那只是续训，通常不会这样掉。分布真的换了、任务是以前没见过的，才叫持续学习，也才必须每阶段重测保留集。只报新分数就发布，方案作废。

人工智能续训痛点在把「还在学」写成「没有忘」

固定数据集上反复学很多遍，和一批批来、分布还在变，不是同一件事。后一种里，新数据若仍像训练时的分布，模型多半是在巩固。新数据若来自没见过的任务，巩固会变成覆盖：新的权重服务于新任务，旧任务的做法被冲掉。冲掉的幅度可以大到像没学过，所以叫灾难性，不是「略有波动」。

名字经常用错。团队把同分布的续训叫成持续学习，于是不做保留集，因为他们以为风险只存在于论文里的那个词。反过来，真的换了任务，却只贴新任务的上升曲线，旧曲线没有位置。两种错都让遗忘看不见。分布变没变，必须先写在阶段单的第一行。没写，阶段不能开始。

回放旧数据是一种减忘的办法，不是证明。回放之前和之后，旧分都要有。只写「我们回放了」，旧分可能仍掉。掉了还继续，回放就成了安慰。停机线写在旧分上：掉过线，新任务再好也停，先恢复旧任务或缩小新数据，而不是上线。

人工智能遗忘验收五步：先写分布、保留集每阶段、掉分即停、回放不代替对照、新分数不能单独发布

1. 每个新阶段先写数据是否仍像原分布。不像，按持续学习做，不许叫续训。
2. 旧任务保留集在每阶段结束时重跑。没有保留集，阶段不算结束。
3. 旧分掉过事先的线，立即停。禁止用新任务分数覆盖这个停点。
4. 回放前后的旧分分列。只有「已回放」三个字的，视为未验证。
5. 发布材料必须同时附新分和旧分。只有新分的发布单退回。

上表的停点在旧分，不在新分。新分是动机，旧分是许可证。

人工智能现场怎么建这个保留集

保留集在第一个新阶段开始前封存，来自已经上线或已经验收的旧任务，而不是从新数据里挑看起来还行的题。题量和题型写死。训练方不能在看到掉分后换掉最差的题。换题等于把遗忘藏起来。

阶段单的第一行只有两个选项：分布未变，或分布已变。未变走续训清单，可以不叫遗忘风险，但仍建议抽一轮旧分。已变走持续学习清单，保留集是必选项。选项空着，作业队列不接收这个阶段。

回放若启用，日志里是三行：回放比例、回放前旧分、回放后旧分。后一行不比前一行好，就不要在说明里写减忘成功。发布会同时看这两列和停机线。线是发布前定的。我们见过新任务演示很好，保留集被放在附录最后，掉分超过线，正文仍写持续提升。

人工智能常见翻车是用人类会越学越全来类比

人可以在新任务上变好而不把旧的抹掉。当前这种训练不会自动这样。类比写成产品承诺，承诺就会在第二个任务上破。

另一类翻车是旧任务太多就只留一个总平均。平均被没掉的大类撑住，掉光的小类看不见。保留集按任务分列，至少把已上线的每一类都留一小组。小类掉光仍算过线。

新阶段的负责人在开跑前签保留集的题单，签的是题号不是平均分。跑完后同一人核对掉分。人和题单对不上，结果作废重测。这样避免训练方自己挑一组还好看的旧题来证明没忘。重测用原题单，不许在重测时删题。删过题的保留集，从封存日起全部作废，阶段回到未开始。

停机之后先恢复旧分，再谈新任务。旧分回到线内才允许继续，期限写在停机单上。过期仍在线外，这个新任务从路线拿掉，不能挂成恢复中。恢复中若还在灌新数据，等于没停。题单在恢复期间也封着，不许换题把旧分救上去。同时通知已经在用旧任务的人：这一阶段暂停。不通知就继续对外说新能力，外面仍在用一个可能已经忘了旧任务的系统。

结论：人工智能能不能接着学，看旧任务还在不在

新分数说明新的学会了。旧分数说明旧的没被盖住。分布变了而不测旧的，提升两个字不能用。

你下次签一个新阶段上线，先看分布变没变、保留集掉了多少、回放后旧分有没有回来。三格空着或超线，先不要签。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源