提示词一改,上一轮的错和这一轮的改就混在一起,看不出是哪一句起了作用。这份教程只做一件事:改字之前,把要重跑的题和通过标准冻成同一份,对照期间不加题、不改标准。

开始前写这三行

  • 题从最近的真实失败里抽,不从想象中的顺利对话里抽。先写 20 条,不够再补,不要一上来写 200 条。
  • 每条写清用户原话、必须能指回的依据、一句不许出现的话。没有依据的题先标成还不能验收。
  • 封存日期写在表头。这一天之后的新失败另开一份,不塞进正在对照的这一份。

这三条里最容易漏的是:封存日期写在表头。这一天之后的新失败另开一份,不塞进正在对照的这一份。

做之前把这三句留在手边:题从最近的真实失败里抽,不从想象中的顺利对话里抽。先写 20 条,不够再补,不要一上来写 200 条。每条写清用户原话、必须能指回的依据、一句不许出现的话。没有依据的题先标成还不能验收。封存日期写在表头。这一天之后的新失败另开一份,不塞进正在对照的这一份。

按顺序做

抄原话。从失败工单里抄用户原话,不改成更顺的问法。原话旁边留一栏,以后才写检索问句。这一步要留下的是:原话和工单号。这一项没写上,先不要做下一步。

写依据。每条标出答案必须能指回的文件名和位置。指不回的,先不要算进通过率。这一步要留下的是:文件名和位置。这一项没写上,先不要做下一步。

写禁句。写一句这次不能出现的话,比如把没查到写成已经处理完。不要只写不要胡说。这一步要留下的是:一句具体禁句。这一项没写上,先不要做下一步。

封存。复制成只读,文件名带日期。改提示词的人在对照期间只能读,不能改题。这一步要留下的是:封存日期和条数。这一项没写上,先不要做下一步。

四步都做完时,记录里应同时有:原话和工单号、文件名和位置、一句具体禁句、封存日期和条数。少任何一项,先补记,再往下对照。

做的时候对照这张表

这一步的情况 说明什么 要改的地方
原话被改顺了 测到的不是用户会打出来的问法 改回工单原话
没有文件名 跑完也无法判断对错 标成还不能验收
中途加了新题 新旧混进同一个分数 新题挪到下一份
禁句太宽 什么都算、什么都不算 改成一句具体的话

表里这四种情况,要改的地方依次是:改回工单原话、标成还不能验收、新题挪到下一份、改成一句具体的话。

两处容易做错

一边改提示词一边改题,分数上升说明不了那一句。

只用演示时顺手写的顺利例子,测不出上次真正的错。

怎样算做完

表头有封存日期,每条有原话、依据位置和一句禁句,正在对照的条数和封存时相同。

这篇只做这一件:AI教程:改提示词前先冻结验收例。顺序是抄原话、写依据、写禁句、封存。题、口径和工具不要在同一次里一起改。

留下的记录要让另一个人打得开。打不开,就不算已经留下,这次也不能当成做完。

你下次改提示词之前,先打开这份封存的验收例,确认今天没有改题,再动提示词。

常见问题 FAQ

验收例为什么要先冻住?

不冻住的话,题和提示词一起变,分数变化对不上任何一句修改。

二十条够不够?

够用来判断这一次修改有没有把旧错带回来。新的失败另开一份,不往这二十条里塞。

原话很乱要不要先整理?

整理放在旁边一栏。验收仍用工单里的原话,不然测的是你改过的问法。

没有依据的题怎么处理?

标成还不能验收,不进通过率。不要为了凑数写一个看起来像的出处。

谁可以改这份表?

对照期间谁都不改题。新题、新禁句进下一份,并写上新的封存日期。