测试集很好看，换真实数据就垮。常见原因是隐藏变量、虚假相关、预处理泄漏、对着测试集调参，以及不平衡数据上用准确率。时序交叉验证还会把未来漏进训练…

向量库里存的是浮点数，不等于看不见原文。一次解码只能猜主题，把假设再嵌入、朝着目标向量走，三十多个词的句子可精确还原九成二。隐私条款按「没传文本…

单轮基准饱和，不等于多轮还在角色里。系统提示是薄薄一层，聊几轮就会漂。要把对话当成有目的的连续动作，用规划器在每轮给出控制前缀，而不是指望更多偏…

修车解绳做饭不能化成纯符号操作。下一词目标更可能学到的是符号启发式，不是物理世界模型。把视听动作分开预训练再缝合，概念会不一致。应让模态从同一套…

注意力训练平方、推理线性、缓存随长度涨。选择性状态空间用有界隐状态，按输入决定记什么忘什么，长度百万级仍可跑。短序列注意力更真，长序列该换压缩状…

A星用f=g+h。启发必须可采纳且尽量贴走法：四方向用曼哈顿，八方向用切比雪夫或欧氏。启发为零就是最短路无引导。深搜快但不保证最短，不能当寻路默…

反传是把误差用链式法则分到每个权重。饱和的激活让局部导数接近零，再深的网也更新不动。要能点开一条连接，看到梯度、学习率步长和更新后的权重，并用数…

整词词表巨大且遇新词就崩，单字序列太长。字节对编码从字符加词尾标记出发，反复合并最高频相邻对，常用词成一块，罕见词拆成有意义的子词。每步词表加一…

对齐不是一句更像人。先用示范做监督微调，再用成对偏好训奖励模型，最后在奖励上升和相对参考策略的散度之间做近端优化。缺散度约束，策略会为刷分而跑飞…

一范数约束像菱形，等高线容易撞在轴上的角，得到稀疏解。二范数像圆，切在光滑点上，权重大多变小但很少到零。强度和预算是同一件事的两种说法，必须能对…