人工智能标注量别拍脑袋定规模。基数和难度开工时多半不知道。2026年先两人同标，用自助法看一致性区间够不够窄，再决定能否改单标。赞同和反对的停点可差三百条。顺序敏感：一百个平行抽样里，多数要到近千条宽度才稳。一百条上的零一致，多半是样本不是任务废了。

人工智能总问标多少，痛点在答案依赖你还没看见的任务性质

合理的反问是：正例多不多、是实验还是上线、任务歧义大不大、数据清不干净。这些开工时常答不上。两人标同一条，能告诉你「合理的人是不是在标同一件事」。人都不一致，模型很难在未来数据上稳；只有一人标，生产里会撞上那一个人的偏见。

自助法不必假定总体一致性。从已有双标里有放回抽样，算出一批一致性，得到分布和区间。停手规则可以是：九成区间宽度小于零点二——解释一致性时，大约每零点二换一档。赞同类大约四百条宽度达标，反对类大约七百条。相对动辄数万条的总库，双标七百条往往不到百分之一，却能挡住「任务没定义清楚就海标」。

顺序是陷阱。按时间排和按随机抽，头一百条可以一个看起来还行、一个区间又窄又差。一百个随机宇宙里，七百条时多数宽度仍大于零点二，直到九百、一千才过半达标。原分析停在七百，是这个顺序里比较幸运的一条宇宙。停手时约九成区间仍罩住总体值，和九成置信大致相符；罩不住的分两类：一百条就停且一致性像随机，或停得不早但中心偏了。

一百条就「完全没一致」，优先当样本问题。除非任务极偏、正例极稀，否则再标一百条，宽度通常会弹回更像样的水平。中心停在零点二或零点四附近，都仍偏低：前者该重写指南，后者即使当成分数代理也往往只有六七成。低于零点六的一致，一般不够当生产任务。真有分歧，加第三人、改度量、把一致和不一致的例子写回指南，双标过的样本不要扔，拿去审成金标准。

人工智能标注停手2026五步：先双标，再看区间，再防假停

1. 开工默认双人重叠。只有单人标，方案不准谈「已经够了」。
2. 每固定批量（如一百条）算一次自助区间。不看宽度，不准停重叠。
3. 一百条内出现零一致或负一致，继续标，不要结案。极偏任务除外，但要书面说明基数。
4. 连续两到三批都满足宽度，再停，避免单批运气。可把宽度收到零点一五或升到九五成区间。
5. 一致性与模型分数的相关只能当决策辅助。相关未验证前，低一致仍先改任务，不先堆模型。

两处只有做过双标才清楚。其一，正例极稀时，头一百条很容易看不到重叠正例，一致性像随机。这不是模型无能，是批量相对于基数太小。按正例出现次数定批量，比按总条数更稳。其二，指南里的例子会锚定标注员。停手后要回看分歧条目：是指南有洞，还是两条都合理。有洞就改指南再抽一批重叠，不要用「再标一万条」盖住洞。

建设者该把双标自助停手写成标注项目的第一页，而不是标完再补一致性附录。管数据的人，该拒收只有条数目标、没有重叠区间曲线的方案。没有曲线，海标是在给未知难度预支预算。一致性与模型分数在有的任务上可到零点九的相关，开工没有测试集时也能决定要不要改任务。相关未在本任务验证前，低一致仍先改指南。

结论：人工智能该标多少，取决于人能不能标成同一件事，不取决于库有多大

双标、自助、看宽度。顺序会骗人，一百条的窄区间不可信。低一致先改任务。仍拍脑袋定万条，错误标签会比模型更先上线。

你下次问「还要标多少」，先拿出双标区间宽度和停手规则；宽度还在跳，单标先不要全面铺开。连续两批达标再停，避免头一百条的窄区间把你骗去结案。分歧条目要写回指南，不要用再标一万条盖住洞。

现场还要防口号替换验收。把「已经省token、已经标够、已经会分类、已经报了曲线下面积」写成周报，不等于整任务账单降、一致性区间够窄、封闭题先改完、决策者看到的分档仍能排序。周报可以写，门禁必须绑在分列对照上。

若只能改一处：先把「看起来更智能」从唯一成功标准里拿掉。演示可以记，账单、一致性、题型、分档四件跟不上就算事故。

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源