先给结论:算法影响评估正在被写进采购和法规。若只让开发方自填清单,不让被影响的人提问,评估就是演戏。试点已经证明:不会训练模型的人,也能挑战系统前提,指出技术审计漏掉的伤害。评估权若和开发方重合,结论不会停系统。没有外部压力去执行,报告只会归档。

为什么「再做一份影响表」常常什么都改变不了

痛点是把评估理解成文档齐不齐。环境、财政、人权领域早就有影响评估,算法把这套搬过来时,最容易丢的是:谁有权提出问题、谁当裁判、结论能否停部署。开发方自己填、自己当论坛、自己决定改哪几条,就是评估者和被评估者塌成一家。塌了以后,清单可以很长,系统仍按原计划上线。

被影响的人不需要会训练模型。他们需要的是:系统要解决什么、数据从哪来、错了找谁、能不能不用这套自动化。试点里,参与者指出过技术审计不会写进表格的风险:把无家可归当成犯罪线索、让幸存者再次受创、让健康咨询滑向聊天依赖。他们也反复追问敏感数据、监视,以及这件事该不该被自动化。这些不是「外行意见」,是前提错误。

评估要有构成部件,不能只有标题。至少要说清:合法性从哪来、谁是行动者、谁是论坛、测什么伤害、方法如何被争议、公众如何进入、结论如何被执行、不执行有什么后果。部件可以按场景搭配,但不能缺到只剩一张自评表。自评表没有咨询义务,就是没评估。

五步把影响评估从归档文件收成能停系统的门禁

  1. 问题由被影响的人先提。开发方的风险登记只能当对照,不能当议程。议程对不上社区问题,评估无效。
  2. 评估权与开发权分开。同一机构里的「独立小组」若仍向项目负责人汇报,不算分开。论坛必须能公开结论,并能要求补测。
  3. 伤害范围不能只量化歧视指标。分配、尊严、代表、监视、该不该自动化,都要进表。进不了表的,用案例写进附件,不准因为不好打分就删掉。
  4. 结论必须带救济和停用条件。写得出风险却写不出谁赔偿、谁停用,报告只是告知。告知不是问责。
  5. 要有外部压力接住发现。媒体、采购条款、监管抽查,至少一条能把「已识别风险」变成「必须改或必须停」。没有外部压力,评估会滑成仪式。
安排 它看起来合规 失败形态 门禁
开发方自填 有评估 自己给自己过 论坛必须外部化
只向量化指标 科学 前提错误进不了表 社区问题必须先提
咨询会开过了 已参与 改不了议程 问题清单要对得上结论
报告已归档 流程走完 系统照上 必须有停用条件
无外部压力 内部治理完善 仪式 采购或监管要接住

现场有三条。其一,方法选择就是权力分配。测什么、不测什么、谁的话算证据,决定谁被保护。把评估设计成只有工程师能操作的流水线,社区再怎么到场也只是旁听。旁听可以拍照,不能改默认。其二,参与会被做成一次性工作坊。工作坊结束,模型继续迭代,评估却冻在上线前那一版。迭代不触发重评,等于用旧报告给新系统背书。重评门槛要写死:数据、用途、影响人群任一变更,评估作废。其三,公共机构采购最容易把评估外包给供应商方法。供应商提供模型、提供评测、提供「已咨询」的模板。机构留下的只有签字。签字后问责仍在公职人员身上。所以基线、抽查权和停用权必须留在买方,不能写进同一份实施合同里被买走。

度量六件事:议程是否来自被影响的人、论坛是否独立、非量化伤害是否进附件、停用条件是否可观察、变更是否触发重评、发现有没有外部执行通道。六件说不清,评估就是演戏。演戏会占用所有人的时间,还让下一次真正的伤害更难被当成新闻,因为「我们已经评估过了」。

有人会说社区意见冲突、没法收敛。冲突不是失败,是评估该记录的内容。记录冲突、记录选择、记录谁被优先,比假装共识更接近问责。假装共识的报告最好看,也最不能在事故后拿出来用。事故后人们会问:当时谁反对、反对被怎么处理。报告里没有反对,只有顺利通过,调查会从这份报告开始追责。

建设者若真要评估,就得接受评估可能得出「不该上」。上不了也是结果。部署者若把「必须上」写在评估开始之前,后面所有咨询都是装饰。装饰一旦成为行业习惯,法规写得再细,也只是多了一摞不会停机的文件。

结论:评估要能停系统,才配写进采购

不听被影响的人、评估权和开发权重合、没有停用和外部压力,影响评估就是仪式。仪式可以很专业,系统仍会按原计划处理那些没有被请进房间的人。

你下次收评估报告,先找社区问题清单和停用条件。两份对不上正文,报告退回,不准当放行附件。

效率龙虾 会带着下面这段开聊

按文章《算法影响评估不听被影响的人就是演戏:必须把社区问题写成门禁》把卡点收成可执行步骤:先做什么、别踩哪条、怎么验证。

用效率龙虾试这篇

本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证,不要把示例阈值直接当生产策略。 相关:风控体检 · 方案资源

常见问题 FAQ

算法影响评估中的“演戏”现象具体指什么?

“演戏”指评估过程流于形式,比如只让开发方自填清单,不让被影响的人提问或参与。这样评估结论不会停止系统部署,报告只是归档,没有实际约束力。文章强调,评估必须包括社区问题,否则就是伪装成合规的仪式,占用时间却让真正伤害更难被发现。

为什么算法影响评估中“再做一份影响表”常常改变不了什么?

因为评估被误解为文档齐整,而不是权力分配。开发方自己填表、自己当论坛、自己决定改什么,导致评估者和被评估者重合。即使清单很长,系统仍按原计划上线,因为没有外部压力和独立判断来约束决策。

如何把算法影响评估从归档文件变成能停止系统的门禁?

文章提出五步:问题由被影响的人先提;评估权与开发权分开,论坛必须独立公开;伤害范围包括非量化指标如尊严和监视,不准因难打分删除;结论必须带救济和停用条件;要有外部压力如媒体或监管执行,把风险变成必须改或停的要求。

谁应该参与算法影响评估,为什么他们的角色重要?

被影响的人必须参与,因为他们能指出技术审计漏掉的风险,比如无家可归被犯罪化或健康咨询滑向依赖。他们不需要会训练模型,但能追问数据来源、错误责任和自动化必要性,这些是评估的前提错误,避免评估变成工程师的旁听会。

算法影响评估有哪些常见失败形态?

失败形态包括:开发方自填评估自己给自己过;论坛不外部化,社区问题被忽视;非量化伤害如歧视进不了表格;报告归档后系统照上,没有停用条件;无外部压力,内部治理流于仪式;参与做成一次性工作坊,迭代不触发重评。这些导致评估无法真正问责。

算法影响评估应该度量哪些关键方面?

度量六件事:议程是否来自被影响的人;论坛是否独立;非量化伤害是否进附件;停用条件是否可观察;变更是否触发重评;发现有没有外部执行通道。如果这些说不清,评估就是演戏,无法在事故后被追责,因为报告里可能只有顺利通过的假象。