提示里每一句“必须这样说”,都是在补某一版模型的缺口。模型一换,这句可能不再起作用,也可能把本来对的答案带偏。没人删的提示,会越积越长,长了以后没人敢动。

留和删都要有证据

用同一组固定题跑两遍:一遍带着这句,一遍拿掉。结果一样,删。结果变好,留下,并在旁边写它挡住的是哪一种错。写不出那种错,就还只是习惯。

题怎样固定,见 演示能跑,还不叫测过。没有这组题,提示只能往上加,不能减。

接口已经做了的,不要在提示里再做一遍

输出格式、长度上限、禁止调用的工具,如果程序已经检查,提示里再强调一次,就是两处都要维护。程序检查失败就停。提示只写程序看不住的那部分,例如“材料里没有就写未找到”。

这周挑一段超过十句的提示,删掉一句,用原来的题再跑。结果不变,这句就不要加回去。十句都不敢删,说明你已经不知道哪句在起作用。

效率龙虾 会带着下面这段开聊

按文章《提示词是债:不再改变结果的句子就删》把卡点收成可执行步骤:先做什么、别踩哪条、怎么验证。

用效率龙虾试这篇

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证,不要把示例阈值直接当生产策略。 相关:风控体检 · 方案资源

常见问题 FAQ

为什么提示词是债?

它绑在某一版模型的毛病上。模型一换,这句话可能没用,也可能让新模型变差。

怎样知道哪句可以删?

用同一组固定题,分别带上和拿掉这句话跑。结果一样,就删。

怎样知道哪句要留?

留的每一句都要能指出它挡住的一种错。指不出,就还是习惯,不是要求。

结构化输出还要在提示里写格式吗?

接口已经保证格式时,提示里再写一遍通常是重复。以那一组题的结果为准。

谁来删?

改过这句提示的人。没有人认领的长提示,升级时整段重测,而不是继续往下加。

固定题从哪来?

从真实使用里抽,不要用模型刚写的例子。

这篇看完可以接着做:工作灵感、发出前验收、试一版稿。