循环理论上能看全部历史，前馈只看最近 k 步。基准上前馈常打平甚至更好。截断反传或梯度可训的模型，可能根本拿不到长记忆。稳定循环在推断和训练上等…

医院和用户想让云端用自己的数据训，又不交出原图。全同态太慢，联邦学习的梯度会漏数据，可证差分隐私在深度网上要加到分数崩。混合若干张再随机翻像素符…

理论想在只有训练集和已训网络时估计测试误差。用同一训练集训一个对抗生成器，在合成样本上的分类错误，竟能线性逼近真实测试错误，而且接近对角线。生成…

设计者见过测试集，或从只发表最好结果的论文里吸取选择，都会二次使用测试集。朴素自适应分析给出的上界会随试过的模型数爆掉。用测试集诞生前的词汇，把…

带批量、分组或权重归一的网络，损失对尺度不变。传统看法：步长趋零就变梯度流、开头必须大学习率、随机梯度是会混匀的扩散。归一化网上全批量不稳定、小…

机器学习文章最该服务读者。四类走偏：猜测当解释、增益来源不清、用公式唬人、术语偷运含义。结构改了分数涨，往往是超参。消融做不出，不准写结构赢了。

准确预测何时够用来指导行动？病理切片分布稳、行动不改未来样本，监督就够。放贷、雇佣、保释是在部署一套激励，对方会改鞋、改答法来迎合分数。把预测器…

算法会偏，不是因为数学洗白了人性。三条进路：标签本身有偏、谁被收进数据集、优化的是点击而不是真目标。公平的几种直觉还互斥。先查数据缺口和代理目标…

平台一边任意组织内容、一边用算法决定谁看见什么、一边几乎不负内容责任。法律把管道和作者分开，已经不适配：用户提供原子片段，算法组装体验。策展和创…

语言模型给词序列赋概率，训练后要么从左解码生成，要么微调到下游。更大语料、更长程连贯，是整条社区已经在走的路，不是单独发明。藏权重防不了别人训出…