-
超智战略不能只停在通识课:要把高置信保障拆成可做的题目
通识课讲清风险,落不了实验。要把高置信保障、形式化验证、激励约束和能力路标拆成带验收的研究票,否则后续干预会对不准。
-
对齐工程不是电影反叛戏:目标要在反复自改写之后仍然可靠
电影里的反叛是把人类脾气套到机器上。要对齐的是能力很强时仍按人可接受的目标做事,尤其在它改自己代码一百次之后。
-
能力跃迁的路标必须可证伪:用校准过的预测来代替口号年份
口号年份不能当计划输入。要把能力跃迁拆成可打分的路标,用校准过的预测来看自己在靠近还是远离哪条情景。
-
编程代理的改进不靠改权重:仓库记忆文件要把纠偏写成下次默认
模型一周内不会变。要少带实习生,就把纠偏写进仓库记忆,再配可复用剧本。代码地图过时必须当场改,本地规范不许改测试来过关。
-
只自动批准只读命令:改状态的提交推送删除必须停下来等人点头
随口问怎么归档会被直接执行。只读探索和测试可以自动跑,提交、推送、删除必须审批。复杂任务先写逐步处方,步骤里的命令要已在白名单上。
-
文档不能靠训练截止日期:发布时打进语义库,代理用同一搜索工具查询
网上搜文档又慢又不稳。持续集成里抽文档和源码注释打成向量库,随发行包走。代理用一条搜索工具按语义取当前版本,不用再复制粘贴。
-
模型选择器是界面缺陷:路由该由系统做,用户不该每条请求交认知税
一天选几十次模型会打断心流。快还是强不该由人现场决定。最好的界面常常是没有界面。第一代必须亮参数,系统可靠之后路由层就该把复杂度吃掉。
-
近似近邻是在用召回换延迟:哈希树图和量化各砍不同的比较次数
精确扫描过亿向量做不到。倒排簇少开几个中心,乘积量化把比较变成查表,分层图用稀疏上层走远路。过亿要把图放到盘上,内存只留压缩码。
-
事后改注意力比在提示里加星号管用:只转向少数头,不要动权重
加粗标记对模型几乎无效。把用户指定片段在少数头上放大、其余乘小系数再归一,推理时完成,不改参数。全头一起转会挤掉生成必需的上下文。
-
单棵树拟合加法会复制子树:同时长多棵再求和才能拆开加性结构
指示函数相加时,一棵树要把第二棵在第一棵每个叶子上复制一遍。贪心树求和每步只加一个分裂,可在现有树上长,也可新开残差树桩。总分裂数卡住才能手算。