先给结论:语言模型不是真理源,是软糊糊的语言计算器。它能在词之间做惊人的跳跃,也会在跳跃里胡编;它今天能过的题,明天换说法就会塌。把它当成万能输入口,等于把系统建立在一团会变形的泥上。设计要卡在软和硬的中间:太散会胡编,太死又发挥不出那点组合推理。正确用法是拆成可组合的小引擎,工具小到像拼写检查,输出必须过结构闸门才能进系统。

为什么「一个框解决所有事」会同时触发胡编和能力幻觉

痛点是产品把柔软当成魔力。柔软的好处是:不完整的句子也能往下走,格式不齐也能猜,跨域的类比有时真能给出新角度。柔软的代价是:没有内建的真值、没有稳定的能力边界、同一任务的成功率会像被忽悠。演示选中高光,线上撞上低谷,团队会觉得模型「变笨了」。更常见的是你从来不知道它的边界在哪,因为万能框把边界藏起来了。

结构派的反应是把一切写成死规则。规则能挡胡编,也会把那点跳跃掐死。掐死之后,系统退回普通表单,模型变成昂贵的装饰。两边都失败的原因一样:把模型当成一个完整员工,而不是当成一块需要夹具的材料。

五步把柔软材料收成可组合的小推理机

  1. 先写清这一块只推理什么。输入类型、输出类型、禁止回答的问题,三件写在接口上。接口以外的请求直接拒绝,不要靠它「顺便」处理。
  2. 把大任务拆成能单独失败的小步。每一步的输出是下一小步的硬输入,而不是又一段可以自由发挥的散文。
  3. 结构闸门放在步骤之间。枚举、数值范围、必填字段、引用必须存在。过不了闸门就重试或升级给人,禁止把坏中间态接着往下传。
  4. 工具粒度向拼写检查靠拢:只做一件能被用户理解的小事,做错了也容易发现。范围越大,幻觉越难被看见。
  5. 能力波动要被当成特性来设计,而不是当成事故来震惊。关键路径准备降级:规则、检索、人。模型只是主路径之一,不是唯一路径。
用法 它假设模型是 实际会遇到 门禁
万能输入框 全能同事 边界消失、胡编难查 禁止无范围入口
纯规则替代 不可信因此无用 跳跃被掐死 规则只做闸门不是全家桶
长散文贯穿全流程 上下文越长越好 错误被文笔稀释 步骤间必须结构化
演示当能力边界 高光可复现 线上波动 必须有降级路径
输出直接进主干 差不多就行 泥进了系统 闸门不过不准入库

软和硬的中间不是一句审美,是可验收的夹具。软的部分:允许不完整输入、允许同义改写、允许在给定材料里做一步跳跃。硬的部分:跳跃必须落在字段上,字段必须能被检查,检查失败必须可见。夹具做好了,模型像计算器:你知道它算的是哪一步,错了能重算。夹具没有,模型像神谕:对了你也不知道为什么,错了你只能再求一次。

现场有三条。其一,把「更强的模型」当结构的替代。更强可能提高某一步的成功率,不会自动给你边界。没有边界的更强,是更大的泥。其二,把提示词写得越来越长来堵漏洞。长提示是在用散文模拟类型系统。散文补不齐类型。该写成字段的,不要写成第十七条注意事项。其三,用户研究里「它好像什么都会」是危险信号。什么都会等于什么都不能被追责。要把产品改到用户能指出:这一步它只会做这个,做错了我看得出。

拼写检查是好的参照不是因为它弱,而是因为它的失败模式可理解。它改了一个词,你能同意或驳回。万能助手改了你的意图、你的优先级、你没说的假设,失败模式不可见。不可见的失败会积累成「系统有自己的主意」。有主意的系统若没有闸门,就是事故源。

组合比单块聪明更重要。一小步做抽取,一小步做对照,一小步做格式,一小步做人能读的说明。每一步都可以换实现:规则、检索、模型、人。能换,才说明你没有把泥浇进承重墙。不能换,说明柔软已经变成架构。

评测不要只报平均分。要报:闸门拦截率、降级触发率、同任务跨日波动、用户能否在十秒内判断这一步有没有越界。平均分会掩盖「今天神、明天鬼」。波动才是这种材料的真实性格。性格不写进设计,设计就是在赌今天。

不要羞辱柔软。柔软是它值钱的地方:对不规则语言的容忍、对不完整指令的补全、在材料之间做有限跳跃。要羞辱的是把这块材料当成地基。地基必须硬。硬的是接口、闸门、降级和可组合的小步。软的只活在夹具里。

结论:当计算器来用,不要当神谕来拜

万能框会把边界藏起来,纯规则会把跳跃掐死。拆成小推理机,步骤间过结构闸门,工具小到失败可理解,关键路径准备降级。仍把一个输入口当产品,系统会建在泥上。泥能塑形,也能塌。

你下周只改一个入口:给它写死输入输出类型和拒绝清单。拒绝才是设计。来者不拒的框,不是好用,是还没开始做产品。做完拒绝清单,再看哪一步真的需要那点柔软。需要的地方才喂模型,其余走硬路径。

效率龙虾 会带着下面这段开聊

按文章《语言模型是软糊糊的计算器:别当真理源来喂那套万能输入框》把卡点收成可执行步骤:先做什么、别踩哪条、怎么验证。

用效率龙虾试这篇

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证,不要把示例阈值直接当生产策略。 相关:风控体检 · 方案资源

常见问题 FAQ

什么是语言模型的「软糊糊计算器」特性?

文章指出,语言模型不是真理源,而是一个「软糊糊的语言计算器」。它能在词之间做惊人跳跃,但也会在跳跃里胡编;它对不完整句子和同义改写很容忍,可提供新角度,但没有内建真值和稳定能力边界,任务成功率会波动。正确用法是把它当计算器,拆成可组合的小推理机,而不是当神谕或万能框。

为什么「一个框解决所有事」的设计会同时触发胡编和能力幻觉?

文章解释,这种设计把语言模型的柔软当成了魔力,隐藏了模型的边界。柔软的好处是能处理不完整输入,但代价是没有真值和稳定能力;万能框让边界消失,用户不知道模型的限制,所以容易产生胡编和能力幻觉。演示时可能高光,但线上会波动,导致系统建立在一团变形的泥上。

如何把语言模型从万能输入框改造成可组合的小推理机?

文章提供五步方法:首先,写清接口只推理特定内容,定义输入输出类型和禁止回答的问题;其次,拆大任务为能单独失败的小步,每步输出是下一小步的硬输入;第三,在步骤间设置结构闸门,如枚举或数值范围检查;第四,保持工具粒度小如拼写检查;第五,设计降级路径,准备规则或人作为备份。

使用语言模型时,有哪些常见陷阱需要避免?

文章提到几个陷阱:把模型当成完整员工而不是需要夹具的材料;用越来越长的提示词来堵漏洞,但散文补不齐类型;认为「它好像什么都会」,这会导致边界不可见;忽略能力波动,没有设计降级路径。应该让模型像计算器,工具小到失败可理解,错误可见。

语言模型和纯规则系统在设计上有什么区别和联系?

文章说,纯规则系统能挡胡编,但会掐死语言模型的跳跃能力,让系统退回普通表单;语言模型则柔软但可能胡编。两者都失败如果当成完整员工。正确用法是在软硬中间,用结构闸门结合:软部分处理不完整输入和有限跳跃,硬部分是接口、闸门和可检查字段,让模型像计算器。

开始改进语言模型系统时,下一步应该做什么?

文章建议从一个小入口入手:先给它写死输入输出类型和拒绝清单。拒绝才是设计,来者不拒的框不是好用,而是还没开始做产品。完成拒绝清单后,再评估哪一步真的需要柔软特性,只在必要时喂模型,其余走硬路径如规则或检索,确保系统稳定。