专栏介绍 原创
一份写给一线工程师的可靠性工程实战专栏。每周一篇,把"踩过的坑"变成"可复用的方法论"。
一、我们在做什么
围绕 SRE 落地这个主题,用一年的时间把该踩的坑、该建的方法、该选的工具,一篇一篇讲清楚。
给谁看——覆盖一线到决策层四类受众:
- 🔧 SRE / 运维工程师:一线救火队员,关注实战技巧、故障案例、工具使用
- ☁️ 平台 / 云原生从业者:平台工程的搭建者,关注 K8s 生态、GitOps、IDP
- 💻 后端 / 全栈开发:和 SRE 协作的开发同学,关注可观测性、混沌工程
- 🎯 技术决策者:架构师、技术 Leader、CTO,关注体系建设、团队管理、ROI
覆盖五大内容支柱:
| 支柱 | 名称 | 定位 |
|---|---|---|
| 🔴 支柱 1 | 实战复盘 War Stories | 真实故障复盘,从现象到根因的完整决策时间线 |
| 🔵 支柱 2 | 技术深度 Deep Dive | 体系化技术指南,SEO 长尾复利核心 |
| 🟢 支柱 3 | 工具与实践 Playbook | 工具横评、Checklist、操作手册 |
| 🟣 支柱 4 | 组织与决策 Leadership | SRE 价值量化、团队建设、成熟度模型 |
| 🟠 支柱 5 | 文化与社区 Culture | 无责复盘、Toil 治理、工程文化 |
二、我们怎么做
针对团队"目标多、受众广、产能有限"的约束,放弃广撒网,采用三个核心方法:
1. 精耕复利模型
每周 1 篇深度核心内容,改编成多个平台版本分发,靠 SEO 长尾和内容集群持续复利。不追求产出数量,把每篇内容的杠杆拉到最大。
2. Topic Cluster SEO 模式
围绕一个主题(如"可观测性")建一个 Pillar Page(种子页)+ 多个 Cluster Page(子页)互链,整体形成主题权威。这是 3-6 个月内搜索流量起势的关键。
3. 五大支柱轮转
每周内容按五大支柱轮转,月度配比 2:2:2:1:1,确保覆盖技术深度、实战、工具、决策、文化五个维度。
核心承诺:每一篇都来自一线实践,配真实命令、配置代码、可复用模板。不写"概念科普",只写"能直接落地的东西"。
三、做的怎么样
当前进度
已发布 26 篇(W1-W15 + 插播篇 + 第 16~26 篇),选题按下述五大支柱轮转推进。第二循环已全部交付并收官:主链第 19 篇(变更安全体系)、第 20 篇(混沌工程与 Game Day)、第 21 篇(容量规划与压测基线),第二组第 22 篇(事故指挥 IC)、第 23 篇(数据库 SRE)、第 24 篇(AI 排障的真实边界)。第三循环已交付两篇:第 25 篇(限流、熔断与降级)、第 26 篇(多活与容灾)。
| 序 | 标题 | 支柱 |
|---|---|---|
| 01 | 专栏介绍 | — |
| 02 | 一次 K8s Pod 频繁重启的故障复盘:从现象到根因的 40 分钟 | 🔴 复盘 |
| 03 | SLO 落地的工程实践:从 SLI 设计到燃烧率告警 | 🔵 深度 |
| 04 | 用 Sloth 自动生成告警规则 | 🟢 工具 |
| 05 | Pyrra 实战指南:Kubernetes 原生的 SLO 监控工具 | 🟢 工具 |
| 06 | 告警治理:如何把每天 500+ 条告警降到 50 条 | 🔴 复盘 |
| 07 | K8s 可观测性全景图:监控、日志、链路追踪怎么做 | 🔵 深度 |
| 08 | on-call 生存指南:如何优雅地处理半夜告警 | 🟢 工具 |
| 09 | 从运维到 SRE:思维方式的根本转变 | 🟠 文化 |
| 10 | 错误预算用完了怎么办?——SLO 红线的应急处置 | 🟣 决策 |
| 11 | CD 流水线优化:从 30 分钟到 5 分钟的改造记录 | 🟢 工具 |
| 12 | OpenTelemetry 实战:统一可观测性数据采集 | 🔵 深度 |
| 13 | 告警分级怎么做?一个实用的分类框架 | 🟢 工具 |
| 14 | 用 eBPF 做网络可观测性:原理与实战 | 🔵 深度 |
| 15 | SRE 团队搭建:从招第一个人到建 10 人团队 | 🟣 决策 |
| 16 | 容器成本优化:HPA + VPA + Cluster Autoscaler 组合拳 | 🟢 工具 |
| 17 | 监控面板设计:让 Dashboard 说人话的 7 个原则 | 🟢 工具 |
| 18 | 运维知识管理:Wiki + Runbook 体系怎么真正落地 | 🟢 工具 |
| 19 | 变更安全体系:灰度判别指标、自动回滚与错误预算门禁 | 🔵 深度 |
| 20 | 混沌工程与 Game Day:把 Runbook 拿去撞一次墙 | 🟢 工具 |
| 21 | 容量规划与压测基线:从"省了多少"到"够不够用" | 🟣 决策 |
| 22 | 事故指挥(IC):一次事故里谁说话、谁决策、谁对外 | 🟣 决策 |
| 23 | 数据库 SRE:备份没演练过,就等于没有备份 | 🔵 深度 |
| 24 | AI 排障的真实边界:它能替你看指标,不能替你定责 | 🔴 复盘 |
| 25 | 限流、熔断与降级:过载保护的三道刹车 | 🔵 深度 |
| 26 | 多活与容灾:切换才是最危险的那次变更 | 🔴 复盘 |
可观测性主题已形成闭环:第 7 篇(全景图,Pillar)→ 第 12 篇(采集层 OTel)→ 第 14 篇(网络层 eBPF,补齐内核侧数据)→ 第 3/6/13 篇(SLO 与告警链路)→ 第 17 篇(展示与决策层:Dashboard 设计)。从采集到判断,链路完整。
成本与效能主题开始成线:第 11 篇(交付效率:CD 流水线)→ 第 15 篇(组织效率:团队搭建)→ 第 16 篇(资源效率:容器成本),共同回答"工程投入怎么换成可量化的产出"。
知识与人这条线开始成串:第 18 篇(Runbook 体系)承接第 6、8、13 篇在告警与 on-call 上留下的尾巴——告警治理解决"别叫醒不该叫的人",Runbook 体系解决"被叫醒的人怎么在 5 分钟内做成事",并与第 17 篇(面板给判断、手册给动作)互为引用。
第 20 篇接着往下问:不让它坏的前提,是先证明它坏了还活着——把第 18 篇的 Runbook 拿去撞一次墙,用 Chaos Mesh 注入故障,用 Game Day 验证人和文档,产出的是"Runbook 首次可用率"这类可跟踪的数字,而不是一份办得挺好的活动记录。
第二循环换了个问题:第 19 篇(变更安全体系)不再问"坏了怎么救",而是问"能不能不让它坏"——把 70% 的变更故障源当成一个可工程化的概率问题,用分级、灰度判别、自动回滚、Schema 兼容顺序、错误预算门禁五道闸门把单次发布的故障概率压下去。它同时把第 3/4/5 篇算出来的错误预算真正接进了发布决策。
主链的前两块缺口已补上:变更安全由第 19 篇交付(发布侧终于有了正篇,同时也是 W9 选题"全站降级 6 小时"的前半段——不让它发生);韧性验证由第 20 篇交付(兑现第 18 篇结尾的预告,把 Runbook 拿去撞一次墙,并给出首次可用率这个可测量的验收口径)。剩下 容量与压测(第 16 篇讲的是"省了多少",不是"够不够用")由第 21 篇交付。
第 19、20 篇互为验证的两面:灰度验证的是"新代码在正常流量下会不会引入故障",混沌实验验证的是"新代码在故障下还能不能工作"。一次变更只跑灰度没跑实验,只验证了一半。
还有四块小一点的空白:事故指挥(现有 8/10/13/18 篇全是单人视角,没人讲组织怎么跑一次事故)、数据库 SRE(专栏默认服务无状态,数据层一条没有)、AI 排障(AIOps 专栏和周刊都在写,SRE 侧还没落位)、容灾切换(有架构文章,没有 RTO/RPO 与切换演练)。前三块排进第二循环第二组,容灾和 Toil 量化、SLO 校准暂留在待办,见下节末尾。
第二循环第二组从第 22 篇开始,它换的是主角:前二十一篇讲的都是"系统和个人的动作"(怎么发现、怎么止血、怎么安全地改、怎么验证、怎么算余量),第 22 篇开始讲组织的动作。一次 98 分钟的故障里,加副本、改超时、回滚、清缓存四个动作各自正确,叠在一起把影响面放大了——真正吃掉时间的不是排查,是决策排队。所以这一篇把"谁说话、谁决策、谁对外"写成可执行的东西:IC / Ops Lead / Comms Lead 三角分工、定级树到通知矩阵的自动映射、跨团队升级的四段结构、对外四种状态页模板、以及把 MTTR 拆成 MTTD / MTTA / MTTK / MTTR-R 后各段该往哪降。它同时给第 19 篇补上了另一半——回滚的技术判断在 19,回滚的决策权在 22。
第 23 篇把"服务无状态"这个前提拆开。前面二十二篇里所有能回滚、能扩容、能拉起副本的操作,到了数据层全部失效:回滚能把代码恢复到 v2.31.2,但回滚不了它写进去的 12 万行。 所以数据层没有"回滚",只有"补偿"和"重建",而重建的成本取决于有没有走过那条路。这一篇的落点是一句实测结论——备份不是一份文件,是一条被验证过的路径;它同时给出数据层 MTTR 的七段拆解和
T_restore ≈ D / R这个下限公式,用来检验团队写下的 RTO 承诺是否从一开始就是假的。
第 24 篇是第二循环的收官篇,也是唯一一篇讲"机器在事故里站哪个位置"的。它没有停在"AI 好用/不好用",而是把一次 38 分钟的事故按 T_detect / T_context / T_verify / T_decide / T_act 切开:AI 在 90 秒内交出一份事实全对的诊断,然后人沿着它走反了 15 分钟——省下 8 分钟,多花 10 分钟,净亏 2 分钟。原因不在于模型不够强,而在于它的世界里没有 20:50 那次配置变更:AI 的视野不是被模型能力限制的,是被工具清单限制的。 由此给出一条可复用的判据(可见性 / 可逆性 / 可算性)和一个能算的盈亏平衡点——top-1 命中率低于 25%,接 AI 就是净亏。它同时给第 22 篇补上了另一半:人是那个签字的人,AI 是那个永远记得问"还有别的原因吗"的参谋。
第 25 篇开启第三循环,换的题目是过载:前二十四篇都在问"系统怎么变、怎么证明它扛得住、余量还剩多少",这一篇问的是"系统在被压垮的那几秒里,自己有没有刹车"。开头那次故障里没有一行报错、CPU 只有 61%、机器全在线,下单 p99 却从 180ms 涨到 6 秒——因为下游一个占 4% 流量的支付渠道慢到了 1.9s,而这条链路上的超时是 2000ms、重试 3 次、三层各重试,最坏路径算下来是入口超时的 7.4 倍。系统做了三件事:接受请求、等待、重试,三件事都在放大自己承受的压力;装了熔断器,一次都没触发,因为它只看错误率,而链路是被"等待"拖垮的。 所以这一篇给的不是几道阀门,而是一份"撑不住的时候先放弃什么"的优先级表:超时预算的倒推、重试放大 ∏(1+retries)、
L = λ × W视角下的自适应并发限制、熔断半开的三个坑、舱壁与连接池"宁可小"、以及需要业务方提前签字的degradation-plan.yaml。它同时兑现了第 10 篇那句"开启熔断(如果服务有熔断配置)"里的"如果"。
12 周选题清单
已完成 ✅
- W1 · 🔴 复盘:一次 K8s Pod 频繁重启的故障复盘——从现象到根因的 40 分钟
- W2 · 🔵 深度:SLO 从入门到落地——SLI 设计、错误预算、燃烧率告警完整指南(可观测性集群 Pillar Page)
- 补位 · 🟢 工具:运维知识管理:Wiki + Runbook 体系怎么真正落地(已于第 18 篇交付:14 段 Runbook 模板 + 三级成熟度 + 三层新鲜度机制)
- W3 · 🟢 工具:上线前 SRE Checklist(50 项稳定性自检清单)—— 不再单写,发布检查项已并进第 19 篇第十节(20 项勾选清单),事故准备项已并进第 22 篇第十二节(20 项事故准备自检清单)
规划中 ⏳
- W4 · 🟠 文化:Blameless Postmortem 不是甩锅会——无责复盘的落地实践
- W5 · 🔴 复盘:我们踩过的 Prometheus 大 cardinality 坑——监控反而拖垮了系统
- W6 · 🔵 深度:可观测性三支柱实战——Metrics / Logging / Tracing 如何协同
- W7 · 🟢 工具:2026 主流监控方案横评——Datadog / Prometheus / Nightingale / 自建
- W8 · 🟣 决策:SRE 价值如何量化——从错误预算到业务影响的 ROI 模型
- W9 · 🔴 复盘:某次全站降级的 6 小时——熔断、限流、回滚的决策时间线
- W10 · 🔵 深度:Prometheus 告警规则设计——从规则编写到分级治理
- W11 · 🟢 工具:Grafana Dashboard 设计规范——让仪表盘真正可读的 10 条原则(已于第 17 篇交付,收敛为「7 个原则 + 评审 Checklist」)
- W12 · 🟣 决策:SRE 成熟度模型——你的团队在第几级?
第二循环:六篇(第 19-24 篇)✅ 已收官
18 篇把"怎么发现、怎么被告警、怎么被处理"讲透了。往下走该换问题:怎么安全地改、怎么证明它扛得住、怎么知道够不够用、以及东西坏了谁来管这件事。
第一组:变更 → 验证 → 容量(主链,按序写)
第一组三篇已全部交付 ✅,主链闭环。第 19 篇约 1.4 万字,含 Argo Rollouts 灰度配置、判别 PromQL、slo-gate.sh 门禁脚本、expand → migrate → contract 迁移规范、20 项发布自检清单;第 20 篇约 1.3 万字,含 Chaos Mesh 六个故障类型的选型与实验定义、chaos-gate.sh 演练门禁、Game Day 角色分工与时间线表、10 条演练规则、四阶段路线;第 21 篇约 1.3 万字,含容量单位换算(资源秒 / 连接秒 / 配额)、watermark-check.sh 水位巡检与可撑周数外推、k6 压测脚本与环境归档规范、全链路压测的流量打标与影子库设计、大促倒排表与 20 项容量自检清单。
| 序 | 拟定标题 | 支柱 | 补哪块空白 | 核心交付 |
|---|---|---|---|---|
| 19 ✅ | 变更安全体系:灰度判别指标、自动回滚与错误预算门禁 | 🔵 深度 | 发布侧正篇(承接 W9 选题) | 已交付:五道闸门(分级 / 灰度拓扑 / 三层判别指标 / 回滚不是撤销键 / 预算门禁)+ Argo Rollouts 配置 + expand → migrate → contract + 20 项发布自检清单 |
| 20 ✅ | 混沌工程与 Game Day:把 Runbook 拿去撞一次墙 | 🟢 工具 | 兑现第 18 篇预告的韧性验证 | 已交付:爆炸半径三维控制(影响面 × 比例 × 时长)+ 生产实验四道锁;Chaos Mesh 六个故障类型的选型与可抄的实验定义;Game Day 四角色与时间线表(重点看 MTTD 与 MTTK 两个差值);演练反哺的四个出口(Runbook / 告警校准 / 系统修复项 / 常态化实验);Runbook 首次可用率等五个度量 |
| 21 ✅ | 容量规划与压测基线:从"省了多少"到"够不够用" | 🟣 决策 | 第 16 篇的镜像面(容量视角) | 已交付:容量统一单位(x = λ × W 与"资源秒"记账法)+ 软/硬水位三层结构 + watermark-check.sh 水位巡检与"可撑周数"外推 + 可复现的压测基线仓库(脚本/数据/环境归档)+ 全链路压测的流量打标与影子库 + 业务日历倒排表 + 八周季度循环 + 20 项容量自检清单 |
这一组是一条链:变更是最常见的故障源(19)→ 演练是唯一能提前验证韧性的手段(20)→ 而两者都要先知道容量水位(21)。顺序也建议 19 → 20 → 21:20 的演练剧本会直接引用 19 的灰度与回滚步骤,21 的水位线则是 19 里判别指标的分母。
第 21 篇把这条链收口:它给前两篇补上了分母——灰度的判别指标在容量 30% 和 90% 的两个时刻含义完全不同,演练的注入比例也要靠"单机承载多少 QPS"来定。它同时是第 16 篇的镜像面,两篇共用同一个基础数据(单位请求的资源消耗量),方向相反。
第二组:把小缺口补齐(可插队,不占主链)
主链管的是"系统怎么变",这一组管的是"系统之外还很空的几件事":谁在事故里说话、数据层怎么救、AI 能信到什么程度、以及坏了之后怎么切。三篇已全部交付 ✅:第 22 篇约 1.3 万字、第 23 篇约 1.1 万字、第 24 篇约 1.3 万字。
| 序 | 拟定标题 | 支柱 | 补哪块空白 | 核心交付 |
|---|---|---|---|---|
| 22 ✅ | 事故指挥(IC):一次事故里谁说话、谁决策、谁对外 | 🟣 决策 | 第 8/10/13/18 篇都是"单人视角",缺"组织怎么跑一次事故" | 已交付:IC / Ops Lead / Comms Lead 三角分工与交接四问;事故定级树(区别于告警级别)到通知矩阵的自动映射;决策权清单 + incident-decide.sh + IC 压倒性授权与免责边界;跨团队升级的四段结构与三个反面案例;对外四种状态页模板 + 客服话术;结束四条件与事故记录 schema;MTTR 拆成 MTTD / MTTA / MTTK / MTTR-R 并给出各段改法 + 20 项事故准备自检清单 |
| 23 ✅ | 数据库 SRE:备份没演练过,就等于没有备份 | 🔵 深度 | 专栏默认"服务无状态",MySQL / Redis / ES 的数据层视角全缺 | 已交付:数据层 MTTR 七段拆解(T_restore ≈ D/R、T_replay ≈ binlog 时长 × k);备份骗人的六种方式 + backup-audit.sh 每日审计(含 binlog 链连续性与托管实例 PITR 滞后);三级备份验证(存在性 / 可恢复性 / 业务可查询)+ 金丝雀查询清单;单表回写的三条纪律与可重入脚本;binlog 反解的三个硬前提与适用边界;按读路径分级的主从延迟容忍口径;conn-budget.sh 连接预算不等式;ddl-guard.sh + gh-ost 限流参数 + MDL 排队的 8 秒风险;25 项数据层自检清单 |
| 24 ✅ | AI 排障的真实边界:它能替你看指标,不能替你定责 | 🔴 复盘 | 仓库里 AIOps 专栏 7 篇、周刊整期都是 AI 排障,SRE 侧一篇没落位 | 已交付:把事故拆成 T_detect / T_context / T_verify / T_decide / T_act 五段,只用实测数据说清 AI 只压得动 T_context;命中率-误锚的期望值模型与 25% 盈亏平衡点;三问判据(可见性 / 可逆性 / 可算性)+ 八个环节的交付形态对照表;幻觉三种形状与"口径"防御(query_metrics 把 agg 变成必填输出);上下文截断三条对策(错误指纹聚合 / coverage 段 / 两次下钻);工具三层授权(靠凭据隔离而非提示词);evidence-pack.sh 上下文打包与强制反证的 prompt 骨架;六个工具最小集(list_changes 四类变更为关键);五个度量 + ai-triage-metrics.py + 20 项接入自检清单 |
第二组的排序不是依赖链,而是价值密度:22 最便宜也最立竿见影(一次事后复盘就能试),23 最容易被忽略但事故代价最大,24 时效性最强、能借 AIOps 专栏和周刊的现成素材互相导流。
三篇之间有两条隐藏的依赖:22 的事故记录 schema 是 24 的度量前置条件(没有
ai_input/decided_by的分离记录,就算不出命中率和误锚率),23 的不可逆结论是 24 的边界来源(它能算影响面,但不能决定恢复到哪个时间点)。
暂不进正文清单、留在待办里的三块
这三块缺口真实存在,但要么素材还不够,要么更适合并进已有选题,不单开:
- 多活与容灾:博客里已有《基于 K8s 的容灾方案》《异地多活架构设计》(后为转载),没有 SRE 视角的 RTO/RPO 与切换演练。切换本身是一次最危险的变更,第 19、23 篇已把"变更 + 数据"写透,现在缺的只剩"切换"这一段演练素材。已由第 26 篇交付(第三循环第二顺位)——第三循环第一顺位让给了"过载保护",理由是那块的引用密度更高。
- Toil 量化与削减:第 9 篇只提了概念,没有度量方法(哪些工单算 Toil、怎么统计工时占比、削减的优先级怎么排)。适合并进 W8《SRE 价值如何量化》或 W12《SRE 成熟度模型》,不单独成篇。
- SLO 的下一层:现在写到燃烧率告警为止,还缺 SLO 季度校准与依赖方 SLO(级联错误预算,即上游的预算烧穿由下游买单怎么算)。这部分已在第 21 篇留了接口(水位线是级联预算的输入),完整展开并进 W10《Prometheus 告警规则设计》。第 23 篇又加了一层:依赖方的数据层(备份可恢复率、RTO 实测)也可以写进级联预算的约束里。
第三循环:从"系统怎么改"到"系统在压力下怎么活"
第二循环把"变更、韧性、容量、事故、数据、AI"六块补完了。第三循环换的题目是过载:系统在被压垮的那几秒里,自己有没有刹车。
这个选题不是拍脑袋定的,是前二十四篇引出来的。翻一遍就能看见,有五篇在引用一篇不存在的文章:
- 第 8 篇的处置表把「降级开关」写成 10 秒止血动作,一行
curl -X POST config-service/degrade/payment - 第 10 篇的处置表里写着「开启熔断(如果服务有熔断配置)」——这个"如果"就是问题本身
- 第 19 篇的止血清单问「有没有更小的动作?(限流、降载、开关关掉新路径)」
- 第 20 篇开头那个现场:熔断器确实触发了,但触发之后请求全打到两年前已下线的老接口,故障从"部分失败"变成"全部失败"
- 第 21 篇要求「限流与降级方案必须在峰值场景下被演练过」,第 22 篇把"要不要限流"列为 IC 必须拍板的决定之一
也就是说,"过载保护"是整个专栏引用密度最高、正文为零的一块。它能一次解释掉散在好几篇里的怪现象:第 22 篇那次"改超时从 3s 到 800ms,重试被放大,QPS 涨 40%"、第 23 篇的重试放大、第 24 篇的"只读查询也能打爆 Prometheus"——同一个根因,四条支线。
| 序 | 拟定标题 | 支柱 | 补哪块空白 | 核心交付 |
|---|---|---|---|---|
| 25 ✅ | 限流、熔断与降级:过载保护的三道刹车 | 🔵 深度 | 六篇正文都在引用、正文为零的过载保护;W9 选题的熔断限流那半段 | 已交付:超时预算(Σ(timeout × (retries+1) + backoff) < 入口超时 ≤ SLO_p99,附 timeout-budget-check.py 进 CI);重试放大公式 ∏(1+retries) 与三条纪律(只一层重试 / 只重试幂等 / 重试预算跟错误预算走);L = λ × W 视角切换与自适应并发限制(AIMD 完整 Go 实现 + 三个前提);熔断三个状态的参数推算与半开三坑、slowCallRateThreshold 这一行;四道舱壁的选型与连接池"宁可小";降级三级(读 / 写 / 功能)与提前签字的 degradation-plan.yaml;开关账本 flag-audit.sh;五个度量与 20 项自检清单 |
| 26 ✅ | 多活与容灾:切换才是最危险的那次变更 | 🔴 复盘 | RTO / RPO 与切换演练,第 19、23 篇写透"变更 + 数据"后剩下的最后一段 | 已交付:一次 47 分钟的切换事故(脚本 4 分钟、用户影响 47 分钟,差的 43 分钟在 DNS / 连接池 / 缓存 / 会话上);RTO 拆成十段与 Σ / max 两种形态的公式;四种容灾形态的选型边界与四个坑;五个"不在脚本里"的切换下限(TTL 提前降、min-idle 与连接预热、缓存预热的源与顺序、会话必须去单点、Relay_Master_Log_File 追平判据);"切换 5 分钟、TTL 30 分钟"的自欺与 RTO 的三种写法和一个可验收模板;业务级拨测 probe.sh 与 failover-checklist.yaml;回切四条硬前提 + rollback-gate.sh + 数据分叉三种防法;L1~L4 演练四档与演练记录 schema;五个度量与 24 项自检清单 |
第 25 篇是这一循环的第一顺位,已交付,理由不是它最热门,而是别的篇目已经在依赖它。第 20 篇的演练剧本要注入"下游超时",第 21 篇的水位线要给出"到哪一档该限流",第 22 篇的决策权清单里有"限流 / 关闭入口"这一行——它们缺的都是同一份东西:过载时系统该按什么规则自己刹车,以及谁有权踩这脚刹车。
第 26 篇排第二,因为切换的前提是"切换到的那一边真的扛得住",而这句话要等第 25 篇把容量之外的过载保护讲清才成立。它已交付:一次 47 分钟的切换事故里,脚本 4 分 12 秒跑完、两面看板全绿,用户却被影响了 47 分钟——切换脚本只改了六个环节里的三个(DNS、LB、数据方向),剩下三个(连接池、缓存、会话)不在脚本里,而用户感知的是六环串联的结果。 这一篇把 RTO 拆成十段并给出
Σ/max两种形态的公式(多数团队是 Σ 伪装成 max),把切换的真实下限归到五个物理事实上,并把"回切"当成容灾的验收标准:只有单向的切换不叫容灾,叫一次性的赌博。
W3 已处理:上线前 SRE Checklist 不再单写一篇。发布检查项已作为第 19 篇第十节的 20 项勾选清单交付,事故准备项已作为第 22 篇第十二节的 20 项事故准备自检清单交付,选题清单已标注"已并入"。
关键里程碑
- W4:第一个月流程跑通
- W7:重点投放周,触达决策者
- W12:季末复盘,进入第二循环
- W19:第二循环启动,变更安全体系交付(主链第一环)
- W20:韧性验证交付,混沌工程与 Game Day 上线(主链第二环,Runbook 首次可用率成为可跟踪指标)
- W21:容量规划交付,主链闭环(第三环,"可撑周数"成为季度节奏里的固定数字)
- W22:事故指挥交付,第二组启动(视角从"个人的动作"换成"组织的动作",MTTK 占 MTTR 的比例成为事故管理的主指标)
- W23:数据库 SRE 交付("备份可恢复率"与"RTO 实测 P90"成为和可用性并列的数;数据层不再默认服务无状态)
- W24:AI 排障边界交付,第二循环收官("top-1 命中率"与"误锚率"成为判断 AI 排障值不值得做的一对数;六个工具最小集定型)
- W25:过载保护交付,第三循环启动("重试放大系数"成为过载的最早信号;
degradation-plan.yaml让降级从临场发挥变成提前签字的优先级表) - W26(篇):多活与容灾交付("端到端 RTO"取代"脚本耗时"成为容灾的唯一验收口径;"切-回切耗时比"有数才算闭环,空白本身就是结论)
- W16:SEO 流量起势
- W26:内容集群排名显现,品牌影响力质变
配套栏目
博客里每周还在更新一份「周刊」:从 GitHub 上把一周里 SRE 相关的开源项目捋一遍,AI 排障、可观测性、K8s 平台工程这些方向的动静都在里面。深度文章讲方法论,周刊讲工具有什么新变化,两个配合着看。
SRE 实战手册 · 每周更新 · 持续运营中