先给结论：带批归一化、组归一化或权重归一化的网络，损失对参数尺度不变。传统课上的三条——学习率够小就贴梯度流、一开始必须大学习率才能泛化、随机梯度是参数空间里会混匀的扩散——在这里都不成立。真正控制速度的是学习率乘权重衰减，叫内禀学习率。小学习率只要把这项对齐，测试可以持平，只是更久。混匀发生在函数空间，不在参数空间。

为什么「再把学习率调小」修不好归一化网络的振荡

痛点是尺度不变把光滑性弄丢了。损失在原点附近不光滑，任意非零学习率的全批量下降都可以不稳定甚至混沌。玩具损失 x²/(x²+y²) 已经如此；残差网络在小子集上全批量也能先到满分再飘走。关掉权重衰减才收敛。没有衰减时范数单调变大、远离原点；有衰减时，梯度一旦变小，衰减按几何率把范数拽向原点，尺度不变又把梯度放大，于是永远到不了真正的静止。这是少见的「为了把损失本身优化对，也需要早停」的场合。

大学习率才能泛化，同样被预测打脸。把初始学习率缩小一百倍、别的超参不动，再多衰减一次，测试可以追上常规日程，只是总步数大约十倍。传统故事说噪声大小由学习率控制、小噪声会掉进尖最小。归一化加衰减之后，学习率有两个角色：乘在损失梯度前，也乘在衰减前。直觉以为尺度不变让衰减无用、第一角色才重要，结果完全反了：固定乘积再改学习率，等价于重标初始化；现代架构对初始化尺度相当鲁棒，于是内禀学习率才是速度旋钮。

五步把学习率从课本旋钮改成内禀乘积

1. 先确认有没有归一化和权重衰减。没有尺度不变，下面的振荡和内禀替换都不自动成立。有尺度不变，光滑性在原点无界，不能再用「学习率小于光滑性倒数则贴梯度流」。
2. 把 ηλ 当成内禀学习率单独记账。调学习率时先问乘积变没变。乘积不变，优先把它看成换了初始化尺度，而不是换了噪声温度。
3. 不要用参数空间混匀解释泛化。沿同一条随机梯度轨迹，不同时刻的权重平均能降测试损失，拉到常规十倍时长仍有效；不同初始化之间平均则没有这层好处。两点距离随间隔单调变大，也不像绕某个局部最小的奥恩斯坦过程——那种过程的均方距离应趋于常数。参数在训练时长内没有混到同一平稳分布。
4. 改到函数空间看混匀。把固定步数的随机梯度看成在抽一个训练好的分类器。两个不同初始化若都到约百分之五的留出错误，按独立应对大约错开百分之十；若函数空间已经对齐，同一输入上几乎不吵。实验上，内禀学习率对齐之后，输出分布的距离迅速掉下去，时间尺度大约是一比内禀学习率。
5. 早停对优化本身有意义。看到训练准确率到顶又往下飘，先查衰减是不是把范数拽进了不光滑区，而不是先加大学习率。衰减在平台期关掉，常常比继续拽更接近课本里的收敛。

现场有三条。其一，线性缩放规则在扩散近似里来自噪声幅度，归一化网络上应改写成内禀学习率的缩放。只改批量、不碰 ηλ，比较的不是同一速度。其二，随机权重平均能降测试，说明轨迹在一段相关的管子里走，不是在唯一平衡态上撒点。用它当正则可以，用它当「已经混匀」不行。其三，函数空间对齐是比参数距离更硬的观察：分类器在同一输入上几乎抽到同一个标签分布。理论还是半证明半实验，但已经够用来否定「参数空间里的慢扩散」这张图。

教优化时若仍从光滑性推出小步长，请把归一化网络单列一章。尺度不变加衰减会制造周期：梯度小→范数被拽→梯度再变大。这不是实现 bug，是几何。

若只能改超参表一处：增加一列内禀学习率 ηλ，所有学习率对比必须在该列相同或显式声明不同。只报学习率不报衰减，实验不能进对照。

结论：归一化网络的旋钮是乘积，混匀在函数里

尺度不变让小步不再等于梯度流，衰减让范数和梯度互相喂。大学习率不是泛化的必要条件，参数空间也没有在常规时长内混匀。对齐内禀学习率，函数空间才会对齐。仍用课本三条调归一化网络，是在用错误几何上的旋钮。

你下次报学习率实验，先写 ηλ、有没有归一化、同轨迹平均和跨初始化平均差多少。三样缺一，大学习率的故事就不能当机制。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源