人工智能测集过拟合看描述长度。设计者见过测试集，或从只发表最好结果的论文里吸取选择，都在二次使用测试集。自适应最坏上界会随试过的模型数爆掉。2026年用测试集诞生前的词汇，把能让睡着的知情裁判复现成绩的最短描述代入，上界只跟描述比特有关，不再跟全世界试过多少模型有关。

人工智能都说别在测试集上训，痛点在间接看过测试集时你没有非空上界

从未查询测试集时，二次过拟合误差随 1 比根号 N 走；t 个模型都保持卫生，最大二次误差大约根号对数 t 比 N。麻烦只在自适应：下一个模型的设计被前面的测试误差塑造。差分隐私打在标签上、阶梯机制只回答部分查询，能帮诚实研究者。但它们解释不了新模型成绩里的二次过拟合，因为无法保证发明者没用测试集调，也无法保证没从可能用过测试集的前人那里得到灵感。于是统计上仍没有理由相信某张主流深度网的二次误差低。

有人做全新测试集，发现过去七年发表模型的误差比原测试集高十到十五个点，标题像在坐实二次过拟合。但也有证据说摆动来自造集时的系统效应：图像基准诞生前的模型在新集上同样摆。上百场竞赛用官方提供的同分布新测试集，结论是现代学习里二次过拟合并不显著。用新测试集估二次误差，系统偏差很大，稀有或一次性现象的数据上可能根本做不到。仍需要可部署的上界。

经典浓度：描述长度最多 k 比特的所有模型，二次误差高概率是根号 k 比 N。直接报参数要百万到亿比特，上界空。报训练程序也不短，因为层层封装的库。新定义：描述长度是让裁判用公开的训练和验证集复现相近成绩的最短说明。知情裁判知道测试集诞生那一刻人类已经知道的一切；不知情裁判不知道诞生之后才发现的东西。动量优化在诞生前就有，「动量零点九的随机梯度」对知情裁判很短；批量归一在诞生后才流行，可能正是因为在该测试集上好看，不知情裁判听不懂，必须写进描述。研究者可用诞生前就合理的无损压缩，压缩方法本身不计，只要对所有提交统一。

用英文短语、公式和有向图，加上诞生前的卷积、最大池化、整流、随机梯度，以及图论速记，再把新概念用数学和旧概念定义清楚，复现某主流残差网约一千零三十二比特，二次误差上界大约百分之五，暗示全分布上真实前五误差至多约百分之九点五。密集网约九百八十比特，上界约百分之五。具体数字可因编码假设有几个点的争议，要点是：上界不再依赖 t，而且非空。这些主流模型信息含量在诞生前知识下并不高，二次过拟合问题温和。

人工智能测集卫生2026五步：先写给不知情裁判看的描述，再报二次误差上界

1. 新结构必须附上测试集诞生前词汇能读懂的复现说明，并报比特数。
2. 诞生后才流行的模块必须展开定义。只写名字，描述非法。
3. 上界用根号 k 比 N，k 是描述比特。用参数量或全世界试过的模型数，方案作废。
4. 新测试集误差跳高，要对照诞生前模型是否同样跳。同样跳则先查造集偏差。
5. 阶梯机制和标签差分隐私可给竞赛用，解释不了已发表模型的二次误差。

上表对应「测试集报废」不必等于「这张残差网二次误差已经爆」。千比特描述给出的是与 t 无关的非空上界。

两处只有对着真实论文才清楚。其一，批量归一必须展开，因为它可能是测试集污染过的概念；卷积不必。其二，新测试集大家一起跳高，更像造集，不像某一模型单独作弊。

建设者该把诞生前可复现描述写成投稿附件。管榜单的人，该拒收只有测试分数、没有描述比特和二次上界的「新纪录」。没有比特，纪录可能是自适应刷的。

结论：人工智能测集可以见过很多人，只要新模型对睡着的裁判仍然很短

二次误差看描述比特。诞生后概念要展开。上界与 t 无关。新集跳高先查造集。竞赛机制解释不了已发表网。仍用试过的模型数当上界，测试集在纸面上早已报废，而主流网的信息含量可能只有千比特。

你下次报新纪录，先写出不知情裁判复现说明的比特数和根号 k 比 N；两格空着，测试分数先不要进榜。

现场还要防口号替换验收。把「已经有长记忆、已经差分隐私、已经泛化」写成周报，不等于窗口外模式真被学到、加密后分数还在、测集过拟合有非空上界。周报可以写，门禁必须绑在对照表和分列指标上。

若只能改一处：先把「理论上更强」从唯一成功标准里拿掉。演示可以记，截断、隐私开销、描述长度、本征学习率四件跟不上就算事故。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源