提示注入只是初始进入。后面还有越狱、侦察、记忆投毒、指挥控制、横向移动和达成目标。三十六起生产案例里至少二十一件走过四段以上。只修提示过滤等于没…

观察定向决策行动四步里，传感器、语料和工具输出都可以被对手改。快聪明安全只能挑两样。训练和部署之间会把投毒冻在模型里。不准假设环内数据干净。

奖励函数没写到的地方就是漏洞。税法市场法律都会被按字面优化。这是种类变化不是程度变化。不准把会得分当成已经按意图完成。

五段全可自动，定向成本被拉到广撒网那一档，命中赶上人工专家。同一封信问两次检测分数能差四十。威胁档必须先定。不准再用旧培训当够用。

服务不是朋友。双面代理会把回扣藏进对话。改输出比偷听更能改决策。监管要落到控制它的人。不准把会聊天当成已经可托付。

助手会写实现也会写证明。写错了核验器当场拒绝并重来。核验器本身必须先被核过。不准把能写出证明腔的文字当成已经证过。

证明变便宜之后，难的是写对要证的性质。漏写边界一样会把事故放进生产。人握住要什么，机器去证怎么做。不准把会证当成规格已经写对。

实现可以当成编译产物。跳过人工审代码的前提是附上对规格的机器可核证明。过不了规格证明一律不准合入。不准再把代码风格当质量门禁。

收消息、请求、超时是三类事件。崩溃就是不再走步。收包只能来自先前发出的。并行可收成线性步骤。安全性不许偷偷加公平性假设。

机器能核候选对不对、强不强，核不出该证哪一条。无穷事件列表用反向归纳。模型检测穷举不了交错。不准把会跑助手当成已经找到对的不变量。