共用检索这周超时的一个小时里,报价草稿、工单摘要和知识摘录一起停了。每个页面各自显示失败,看起来像三件互不相关的故障。实际上它们依赖同一个组件取回内容或生成首段。一个共用组件出错,停掉的是一组工作,不是一个页面。要先列出谁依赖它,再给每件工作写不可用时的退路。
先把依赖和退路写在一起
| 依赖工作 | 组件角色 | 退路 |
|---|---|---|
| 报价草稿要取历史价格。 | 组件负责检索昨日记录。 | 改由人查看昨日报价单。 |
| 工单摘要要生成开头一段。 | 组件负责写出首段。 | 改贴上一次人工写的摘要。 |
| 知识摘录要取某条原文。 | 组件负责按编号检索。 | 改打开条文的原件。 |
| 班前简报要汇总过夜事项。 | 组件负责合并多条记录。 | 改读值班笔记。 |
组件一告警,就按这张表逐行找退路,而不是逐个页面重启。每一行的退路必须是组件不可用时仍能做完这件工作的办法,并且写明改由谁做。只写稍后再试,不算退路,因为稍后再试仍然依赖同一个组件。四行是示例,真实清单要把所有依赖这组件的工作都列上,包括那些不常被想起的夜间作业。
填表时从组件往外找,而不是从某个页面往里找。页面往里找,容易只看见自己的按钮。从组件往外找,才能看见报价、摘要、摘录和简报是一起停的。清单放在值班能打开的地方,和组件的告警连在一起。告警里没有清单,值班的人就只能一个页面一个页面问。
出错不是一个页面的事
页面上的失败提示往往只说本页暂时不能用。使用的人会分别报障,维修的人会分别排查,浪费掉本来可以整体切换退路的时间。告警的第一句应写成共用组件不可用,受影响的工作见清单,而不是某一页加载失败。这样报障会汇合到一处。
恢复时也按清单逐行确认,不要因为某一个页面又能打开就宣布全部恢复。有的工作走夜间批处理,白天打开页面看不出来。恢复完成的标准是清单上每件工作都按自己的方式验证过,或明确仍停留在退路上。验证过的人把时间写在该行旁边。
退路要在出事之前写好
出事当天才想退路,人会选择再试一次,或把半成品发出去。退路要事先写到能执行的程度:打开哪份昨日报价单,摘要改贴哪一种人工文本,条文原件在哪个编号下,值班笔记由谁在班前读。写不到这一步的行,说明这件工作还没有退路,应降低对组件的依赖,或接受它在组件停时明确暂停。
暂停也是一种退路,但要把暂停说清楚:这件工作停做,不输出不完整的结果,并通知谁。不完整的报价或摘录若继续往下传,会比暂停更难收。暂停的通知对象写在同一行,避免组件恢复以前,下游还在使用旧的半成品。
谁先知道要写在清单上
每件工作指定第一个该知道的人。这个人不必修理组件,但要在告警后改走退路,并告诉使用方现在用的是哪一种替代。没有这个人,退路只是表上的句子。组件的维护人负责组件本身,不负责替每一件业务做选择。两套责任分开写,避免都以为对方会处理。
组件被更多工作引用之前,先在清单上加行,补上角色、退路和第一个知道的人。加不出来,就不要接入。接入以后再补,往往会等到第一次一起停摆才发现漏了谁。每周看一次清单是否和实际调用一致,把已经不用的行删掉,把新出现的调用补上。
画出这周出过问题的那个共用组件支撑着哪些工作,给每件工作写上不可用时仍能完成的退路,以及第一个该知道的人。
常见问题 FAQ
为什么几个页面同时失败却要当成一件事?
它们可能共用同一个检索或生成组件。各自的失败提示会让人分别报障、分别排查。告警应先说明共用组件不可用,并指向依赖清单,再按每件工作的退路处理。
怎样的写法才算一条退路?
组件不可用时,这件工作仍能做完,或被明确暂停。要写到能执行的程度,例如改看哪份报价单、改打开哪份原件、由谁读值班笔记。只写稍后再试仍然依赖原组件,不算退路。
为什么不能发出不完整的结果先顶着?
不完整的报价、摘要或摘录一旦往下传,比明确暂停更难收回。暂停要写清这件工作停做,并通知指定的人。下游不应在组件恢复前继续使用半成品。
一个页面恢复了,能不能宣布全部恢复?
不能。有的依赖在夜间作业里,白天打开页面看不出来。要按清单逐行验证,或写明该行仍走退路。验证的人和时间记在那一行旁边。
新的工作想用这个组件,要先满足什么?
先在清单上增加一行,写明它依赖组件的哪一种角色、不可用时的退路,以及第一个该知道的人。这三样写不出来,就先不要接入。接入后再补,常常要等到一起停摆才发现。