SWE · Leadership

系统事故处理:止损、指挥、沟通与复盘

把恢复服务和查明原因分开,说明自己如何协同而不是单人救火。

题目重点:把恢复服务和查明原因分开,说明自己如何协同而不是单人救火。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 真实事故,明确用户影响、发现途径、权限和自己的角色;没有经历可坦诚用演练。
  • 训练不假定某公司事故分级或固定通报制度,按实际组织流程。

解题路线

  1. 第一步确认影响范围和紧急保护动作,指定incident lead、技术恢复/对外沟通/时间线记录职责。先回滚、限流或隔离可逆措施,保留证据,不等根因完全清楚才止损。
  2. 建立统一状态更新与交接,列事实/假设/已排除项;高风险变更双人确认和可回退。数据一致性问题停止进一步污染后才恢复写路径,不能只看HTTP200就宣布恢复。
  3. 复盘追踪触发、放大因素、检测/恢复缺口,行动有owner和期限,验证告警/回滚/演练效果。避免责备个人也不能抹去需要改变的决策责任。

手动走一遍

回滚后错误率恢复,但积压消息尚未处理,向用户说明服务已恢复与数据补偿仍进行。恢复方案可能删除数据时,应使用已有组织事故权限和核验机制,不冒进执行不可逆修复。

规模与取舍

衡量检测/缓解/完全恢复时间和受影响请求/用户;数据补偿、积压清理可能长于API恢复。面试用真实数字区间。

易错点与追问

容易失分的边界

  • 同时多人修改配置但无人统一记录,可能增加故障。
  • 复盘只加一个重试,会让过载下一次更严重。

继续深挖

  • 未知根因且业务要求立即恢复,怎样设风险边界?
  • 事故结束后怎样确认行动项确实降低重复概率?
✓已复制微信号!