提示词一改,上一轮的错和这一轮的改就混在一起,看不出是哪一句起了作用。这份教程只做一件事:改字之前,把要重跑的题和通过标准冻成同一份,对照期间不加题、不改标准。
开始前写这三行
- 题从最近的真实失败里抽,不从想象中的顺利对话里抽。先写 20 条,不够再补,不要一上来写 200 条。
- 每条写清用户原话、必须能指回的依据、一句不许出现的话。没有依据的题先标成还不能验收。
- 封存日期写在表头。这一天之后的新失败另开一份,不塞进正在对照的这一份。
这三条里最容易漏的是:封存日期写在表头。这一天之后的新失败另开一份,不塞进正在对照的这一份。
做之前把这三句留在手边:题从最近的真实失败里抽,不从想象中的顺利对话里抽。先写 20 条,不够再补,不要一上来写 200 条。每条写清用户原话、必须能指回的依据、一句不许出现的话。没有依据的题先标成还不能验收。封存日期写在表头。这一天之后的新失败另开一份,不塞进正在对照的这一份。
按顺序做
抄原话。从失败工单里抄用户原话,不改成更顺的问法。原话旁边留一栏,以后才写检索问句。这一步要留下的是:原话和工单号。这一项没写上,先不要做下一步。
写依据。每条标出答案必须能指回的文件名和位置。指不回的,先不要算进通过率。这一步要留下的是:文件名和位置。这一项没写上,先不要做下一步。
写禁句。写一句这次不能出现的话,比如把没查到写成已经处理完。不要只写不要胡说。这一步要留下的是:一句具体禁句。这一项没写上,先不要做下一步。
封存。复制成只读,文件名带日期。改提示词的人在对照期间只能读,不能改题。这一步要留下的是:封存日期和条数。这一项没写上,先不要做下一步。
四步都做完时,记录里应同时有:原话和工单号、文件名和位置、一句具体禁句、封存日期和条数。少任何一项,先补记,再往下对照。
做的时候对照这张表
| 这一步的情况 | 说明什么 | 要改的地方 |
|---|---|---|
| 原话被改顺了 | 测到的不是用户会打出来的问法 | 改回工单原话 |
| 没有文件名 | 跑完也无法判断对错 | 标成还不能验收 |
| 中途加了新题 | 新旧混进同一个分数 | 新题挪到下一份 |
| 禁句太宽 | 什么都算、什么都不算 | 改成一句具体的话 |
表里这四种情况,要改的地方依次是:改回工单原话、标成还不能验收、新题挪到下一份、改成一句具体的话。
两处容易做错
一边改提示词一边改题,分数上升说明不了那一句。
只用演示时顺手写的顺利例子,测不出上次真正的错。
怎样算做完
表头有封存日期,每条有原话、依据位置和一句禁句,正在对照的条数和封存时相同。
这篇只做这一件:AI教程:改提示词前先冻结验收例。顺序是抄原话、写依据、写禁句、封存。题、口径和工具不要在同一次里一起改。
留下的记录要让另一个人打得开。打不开,就不算已经留下,这次也不能当成做完。
你下次改提示词之前,先打开这份封存的验收例,确认今天没有改题,再动提示词。
常见问题 FAQ
验收例为什么要先冻住?
不冻住的话,题和提示词一起变,分数变化对不上任何一句修改。
二十条够不够?
够用来判断这一次修改有没有把旧错带回来。新的失败另开一份,不往这二十条里塞。
原话很乱要不要先整理?
整理放在旁边一栏。验收仍用工单里的原话,不然测的是你改过的问法。
没有依据的题怎么处理?
标成还不能验收,不进通过率。不要为了凑数写一个看起来像的出处。
谁可以改这份表?
对照期间谁都不改题。新题、新禁句进下一份,并写上新的封存日期。