两家机构都说自己在记录人工智能的问题,件数却对不上。对不上的时候,先不要比高低。先看同一件事在两边是不是同一个名字。一边叫投诉,一边并进质量问题,两边都觉得自己记得全,并到一张表上就会差一截。
名字少到一线愿意填
分类可以只有十来个。多到上百个,一线会空着,或者全部选第一个。空着和全部选第一个,都让件数失去含义。十来个名字要写成一句人能看懂的话,不要写成内部缩写。缩写出了这家机构就没有意义。
每个名字配一个例子和一条反例。例子说明什么样的事归这里,反例说明什么样的事不要塞进来。没有反例,相邻的两个名字会互相吞并,一个月后件数的变化只是吞并的结果。
名字一旦用在对外交换的表上,一个月内不改。要改,就新旧对照着改,不把旧行悄悄换成新名。悄悄换名,四周的序列就断了。
开会先对十行,再对总数
两家把最近的十行并排。每一行问:这是不是同一件事,名字是不是同一个。十行里有三行对不上,就先改名字或改说明,不要讨论总数谁更完整。总数在名字没对齐时没有比较的资格。
对不上的行单独留着,写明差在对象、版本还是事件类型。差在版本,是记录精度的问题。差在事件类型,是名字的问题。两种差不要合成一句“口径不一致”就结束。口径不一致无法指派给下周的修改。
对得上的行才可以加总。加总时把未填排除在分母之外,或单独报未填比例。把未填当零再加总,会得出一个看起来更低的发生率。
同一个名字还要能指到版本
名字对齐了,若一边写最新、一边写发布编号,仍不是同一行。最新在回退之后指哪一次,两边会各执一词。对外的表用编号或日期,不用最新。
对象也要同级。一边写到具体角色,一边只写客户,件数会因为粒度不同而不同。约定一个最粗仍有用的级别,两边都停在这个级别上比较。需要更细时,在内部另表,不把细表的件数直接和粗表相减。
片段不必全部交换。至少约定:抽到复核的行,能在合理时间内拿出片段。拿不出的行,不进入两边对比的分子。进入了,对比的是印象。
名字稳定之后,件数才开始有含义
连续四周名字没改、十行样例能对上、未填在下降,这时才把件数放进快慢的讨论。此前可以交换样例,不宜用样例期间的升降证明系统变好或变坏。
若某一周件数突然上升,先问是不是上报变勤,或某一个名字被拆开了。拆开和变勤都是记录变化。记录变化排除之后,剩下的升降才可能是事件变化。
这不是要求全行业同一天换成同一套名字,也不是法律意见。两家愿意对照的机构,可以从十行样例开始。十行都对不上,就还没有一张可以相减的表。
| 步骤 | 做完的样子 | 过早的动作 |
|---|---|---|
| 收名字 | 十来个,带例子和反例 | 上百个分类 |
| 对十行 | 同一件事同一个名字 | 先比总数 |
| 写版本 | 编号或日期 | 只写最新 |
| 未填 | 单独报 | 当零后加总 |
| 四周之后 | 名字稳定再谈升降 | 用样例周证明变好 |
十行对照会只做一件事
会议限时,并且只比较十行的名字。不汇报各自系统的建设进度,不讨论预算。进度和预算会占掉对齐名字的时间,散会时总数仍然不能相减。
每一行给两分钟:读事件原文,说出两边的名字,若不同就当场选定对外用哪一个,并写下旧名。选不定的行标成未决,不在会后用邮件各自改。各自改会再次分叉。
散会时的产出只有一张对照:新名、旧名、未决行。没有这张对照,会议就没有发生过。下周开会先看未决行,不要重新从第一行读起。重新读起,已对齐的名字会被再次打开。
未决行不进这周的件数
对照会上标成未决的行,不进入两边公布的件数。公布时写明未决有几行。不写明,对方会以为所有行都已经用了同一个名字。实际上未决行可能仍用着旧名,加进总数就会把还没对齐的差异算成事件多少。
未决行的处理期限是下次对照会,不是“有空再看”。有空再看的行会一直留在两个名字上。下次会一开始先读未决行的原文,当场选定对外名字或明确这行暂时不比较。不比较也是一种决定,比假装已经对齐更干净。
旧名保留在对照里
选定对外名字之后,旧名留在对照表,不从历史行里抹掉。抹掉旧名,四周前的件数就无法解释当时用的是哪个说法。解释不了的件数,不能用来判断是事件变了还是名字变了。对照表至少保留旧名、新名、生效日期三列。
生效日期之前的行,比较时仍按旧名。生效日期之后的行按新名。跨过生效日期直接相减,会把改名当成事件升降。相减只在同一名字、同一日期范围里进行。范围不同,就分开报,不合成一个趋势。
你下次要和另一家比较问题件数,先并排十行,把对不上的名字改到同一个,再把对得上的行加总。
常见问题 FAQ
分类是不是越多越准?
对外交换时不是。多到一线不填,件数就没有含义。十来个能看懂的名字更可用。
为什么先对十行而不是总数?
名字不同,总数没有比较资格。三行对不上,就先改名字。
最新能不能当版本?
不能。回退之后最新指哪一次,两边会对不上。用编号或日期。
未填怎么进分母?
不要当零。单独报未填比例,或排除在这次比较之外。
件数上升是不是系统变差?
先排除上报变勤和名字被拆开。剩下的才可能是事件变化。