提示里每一句“必须这样说”,都是在补某一版模型的缺口。模型一换,这句可能不再起作用,也可能把本来对的答案带偏。没人删的提示,会越积越长,长了以后没人敢动。
留和删都要有证据
用同一组固定题跑两遍:一遍带着这句,一遍拿掉。结果一样,删。结果变好,留下,并在旁边写它挡住的是哪一种错。写不出那种错,就还只是习惯。
题怎样固定,见 演示能跑,还不叫测过。没有这组题,提示只能往上加,不能减。
接口已经做了的,不要在提示里再做一遍
输出格式、长度上限、禁止调用的工具,如果程序已经检查,提示里再强调一次,就是两处都要维护。程序检查失败就停。提示只写程序看不住的那部分,例如“材料里没有就写未找到”。
这周挑一段超过十句的提示,删掉一句,用原来的题再跑。结果不变,这句就不要加回去。十句都不敢删,说明你已经不知道哪句在起作用。
本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证,不要把示例阈值直接当生产策略。 相关:风控体检 · 方案资源
常见问题 FAQ
为什么提示词是债?
它绑在某一版模型的毛病上。模型一换,这句话可能没用,也可能让新模型变差。
怎样知道哪句可以删?
用同一组固定题,分别带上和拿掉这句话跑。结果一样,就删。
怎样知道哪句要留?
留的每一句都要能指出它挡住的一种错。指不出,就还是习惯,不是要求。
结构化输出还要在提示里写格式吗?
接口已经保证格式时,提示里再写一遍通常是重复。以那一组题的结果为准。
谁来删?
改过这句提示的人。没有人认领的长提示,升级时整段重测,而不是继续往下加。
固定题从哪来?
从真实使用里抽,不要用模型刚写的例子。