注意力骨干站稳之后，多数进展不在换结构，而在预训练任务、数据和微调。先分清自回归、自编码、序列到序列三种，再决定生成还是分类。词向量只进第一层，…

自回归是用过去值前馈预测下一步的条件分布，不是把历史塞进隐状态。训练可并行、可走常规拆分和指标，换来的是有限记忆。循环的无限记忆在实践里很少真拿…

大模型上，格式会改训练时间和能否塞进显存。网络能容忍更低精度，有时还能当正则。先混合精度：损失放大加一份三十二位主权重。换脑浮点或张量核格式前，…

张量库要建图、跑相关计算、尽量跑得快。动态图符合直觉，但图从不作为对象存在，慢了无法改写。需要化简、改后端、做数值稳定改写时，一次性把图写死反而…

多臂问题要用试出来的奖励决定下一拉。共轭模型下，汤普森抽样就是对每个臂抽一个先验、拉最大的、按共轭规则计数更新。伯努利对贝塔，泊松对伽马。没有共…

安全不会随规模自动长出来。对齐不是让模型爱人类，是让它在规格清楚时精确遵守、含糊时按常人常理补全。拒答挡不住认真的攻击者，检测和算力常占比更关键…

代码看起来是经验风险最小，现场更像教学生一项技能：数据越多越好、混合来源不伤、会突然通、不同损失仍能学到相近表征。偏差方差权衡解释不了自监督。验…

精确全对会画出陡崖，编辑距离却可能平滑。把涌现当海市蜃楼也不对：真实任务常是多步全对，一步错就整条链断。既要软进度量，也要测长链是否过线。

能力大致随算力对数涨。百倍算力常常只换来大学对高中的差，不是人猿之别。技能画像会歪：考试过中位，简单游戏却认不出已输。岗位要按短板和人机接力改，…

能力仍近似指数，对齐也在涨但跟不上更高风险。好消息是还能用模型去监模型。坏消息是制度几乎没动。斜率不够、共谋一旦出现，监控会先失效。