人工智能预训练别把任务配方写死。规模可以很大，下一词和掩码视图却仍在圈外手选，控制环太粗。2026年学习器只吃无标签自监督，少量可核验下游样本只训任务设计器。反馈不进学习器监督梯度。小模型问答命中可从两成二升到近三成。直接微调不算预训练。

人工智能预训练很能堆，痛点在代理任务仍是手写的

可扩展方法最终会赢过把人的直觉写进系统。预训练看起来符合这句话：通用结构、海量无标签、简单自监督。漏了一截——选什么当代理任务，仍然靠人。数据配比、掩码规则、增强管道、目标格式、课程，全在圈外。下游分数来得太晚，只能整轮重来。

更紧的环不是把下游标签直接灌进学习器。那是微调、偏好优化、从反馈做强化学习，学习器权重被下游拽走，通用表示容易塌。正确拆法：学习器继续只做自监督；设计器学的是构造规则——语言里目标分布怎么铺，视觉里看哪一裁、掩哪一块。下游样本只更新设计器。学习器看到的仍是无标签流上的自监督损失。

设计器怎么知道哪种构造有用？理想是对完整持续预训练轨迹求导，做不到。用一步近似：候选自监督任务给出预训练梯度，一小批下游给出下游梯度，两者内积估计这一步会不会降低下游损失。设计器被训成让两者对齐。构造出的目标或视图随后断开，学习器走普通自监督更新。反馈改的是题，不是直接改答案。

要防捷径。随机反馈和均匀摊开的软标签，可以比基线更差。自蒸馏会好一点，仍追不上对齐下游方向的设计器。去污染之后优势还在，只是幅度缩小，说明不是靠题面重复。视觉上分割和深度变好，线性分类也可以一起微升，说明不是把骨干偷偷收成下游专用头。

人工智能预训练配方2026五步：先拆角色，再对齐梯度，再做对照

1. 学习器禁止吃下游监督梯度。下游样本只进设计器。混进学习器，方案改名成微调，不算预训练。
2. 语言默认允许有界软目标，真值词必须在候选里。视觉默认允许按样本改视图或掩码。配方写死，作废。
3. 用预训练梯度与下游梯度的内积当局部信号。没有这一项，设计器只是在加噪声。
4. 对照四列：基线、随机反馈、均匀软标签、对齐设计器。后三列里只有对齐赢，才许写有效。
5. 去近重复后再报一次。去完优势消失，当污染，不准发。

两处只有做过匹配时钟预算的对照才清楚。其一，反馈集会和评测集同分布时最好看，换分布仍可能升，但不均匀。设计器不是万能配料，是在当前下游方向上选更值钱的自监督题。换下游就要换反馈，不要指望一份反馈打天下。其二，一步近似忽略了后续轨迹。它能用，是因为持续预训练的局部方向已经够信号；它会偏，是因为后期损失面弯曲。所以设计器学习率要小于学习器，抖得太勤，学习器会追一个晃的靶。

建设者该把任务构造写成可学习件，而不是配置文件里的常量。管预训练的人，该拒收只有最终分数、没有随机反馈和去污染对照的「用了下游」方案。没有对照，那就是微调穿了预训练的衣服。视觉上分割和深度变好时，线性分类也可以微升，说明骨干没有被偷偷收成下游专用头。反馈换下游就要换，一份反馈不能打天下。

结论：人工智能更苦涩的预训练是学会出什么题，不只是把固定题做大

学习器继续吃无标签。设计器吃少量可核验下游，只改构造。内积对齐，断开后再更新。随机和平滑都不是它。仍把配方写死，规模再大也只是在粗环上赌下一轮。

你下次做持续预训练，先问下游样本有没有直接改学习器、随机反馈对照赢了没有；两格不合格，不要写已经把反馈用进预训练。

现场还要防口号替换验收。把「已经更准、已经会切、已经遗忘、已经会探索」写成周报，不等于起报日全覆盖、语义边界对、公开材料唤不醒、难问题有学习信号。周报可以写，门禁必须绑在分列成绩和失败模式上。

若只能改一处：先把「看起来会了」从唯一成功标准里拿掉。演示可以记，分列、对照、可复现、可唤醒四件跟不上就算事故。

现场还要防口号替换验收。把「已经更准、已经会切、已经遗忘、已经会探索」写成周报，不等于起报日全覆盖、语义边界对、公开材料唤不醒、难问题有学习信号。周报可以写，门禁必须绑在分列成绩和失败模式上。

若只能改一处：先把「看起来会了」从唯一成功标准里拿掉。演示可以记，分列、对照、可复现、可唤醒四件跟不上就算事故。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源