很多做后端开发的朋友肯定都遇到过这种糟心事:所有新功能上线前单元测试、接口测试、全链路压测跑了十几轮,指标全达标,结果一到线上大流量场景,某个没人在意的边缘第三方服务出点小问题,直接把整个主链路拖垮,最后排查了半天才发现,早做预防就能避免的故障,偏偏等到造成资损才补上漏洞。
一、传统架构优化手段的天生短板
以前大家做架构优化,基本都是靠过往故障经验堆规则,比如上次数据库慢了就加索引,上次调用超时了就加重试,但是很多潜在的依赖关系你根本不知道,比如你自己的订单服务代码里埋了个没人记得的逻辑,调用了一个早就没人维护的用户积分老接口,平时这个接口响应飞快根本没感觉,某天这个老接口所在的服务器磁盘满了,响应变成10秒一次,整个下单链路的所有请求全卡在这儿,几分钟就拖垮几十个服务实例。传统的压测只会模拟你预想中的正常流量,根本不会主动给你搞这些"意料之外"的小故障,所以你永远不知道系统里藏了多少定时炸弹。不少公司线上故障的80%以上,都是这类从来没在测试环节暴露过的意外场景导致的,靠传统的优化手段根本覆盖不全。
二、用主动搞破坏的方式挖隐藏薄弱点
这里提到的实践方式本质根本不是什么高大上的黑科技,说白了就是主动在可控范围内给系统搞点小破坏,看看系统扛不扛得住,扛不住的地方就是你要补的薄弱点。很多人一听主动搞破坏就觉得风险极高,其实只要按步骤来,完全可以做到零线上业务影响,哪怕是只有几个人的小团队也能轻松落地。
2.1 先锚定系统的正常基准线
你在搞任何故障注入之前,必须先搞清楚系统正常状态下的表现,也就是常说的稳态。比如对于电商下单链路来说,稳态指标可以明确列出来:下单成功率稳定在99.95%以上,全链路平均响应时间不超过300ms,1000并发下所有服务的CPU使用率不超过70%,内存使用率不超过75%。只要你注入故障之后这些指标没有偏离稳态,就说明故障不会影响核心业务。你可以把这些稳态指标全部配置到监控平台里,一旦指标超出阈值就自动触发告警,第一时间就能感知到异常。
2.2 从小范围低影响故障开始试
千万不要上来就玩什么关闭整个可用区、停掉一半数据库实例这种高危操作,新手入门完全可以从最简单的故障开始:比如只给某一个库存服务的实例注入500ms的响应延迟,或者让10%的库存接口调用随机返回失败,这些故障的影响范围极小,就算出问题也只会影响极小一部分流量,根本不会酿成线上事故。你可以按照故障影响范围从小到大排序做演练,从单接口延迟到单节点宕机,再到单可用区网络断开,循序渐进积累经验。
2.3 对照故障结果定位薄弱点
每次注入故障之后,你不要光看服务崩没崩,要顺着链路一点点找问题:比如库存接口延迟之后,调用它的订单服务有没有设置合理的超时时间?如果没设置的话,订单服务的工作协程很快就会被全部占满,新的请求根本进不来,直接就雪崩了。再往下看,如果订单服务设置了超时,但是超时时间设成了3秒,那就算库存服务慢个几百毫秒,也不会被触发,照样会拖慢整个下单链路。这些问题你不主动注入故障,永远都发现不了。
三、全流程实战落地示例
本实战示例统一使用Go 1.21 技术栈,搭配开源混沌故障注入工具Chaos Mesh 2.5,跑在Kubernetes 1.27集群上,覆盖从故障发现到优化完成的全流程。 首先先给大家看我们最开始拿到的、没做任何容错处理的订单服务核心代码:
package main
import (
"net/http"
"io/ioutil"
)
// 创建订单的接口处理函数
func CreateOrderHandler(w http.ResponseWriter, r *http.Request) {
// 1. 从请求里拿到用户ID、商品ID等参数,这里省略参数校验逻辑
userId := r.URL.Query().Get("user_id")
goodsId := r.URL.Query().Get("goods_id")
// 2. 调用库存服务的扣减接口,没有做任何超时、重试、熔断处理
resp, err := http.Get("http://inventory-service/DeductStock?goods_id=" + goodsId)
if err != nil {
w.Write([]byte("库存扣减失败,下单失败"))
return
}
// 读取库存服务返回的结果,这里没有设置读取超时
body, _ := ioutil.ReadAll(resp.Body)
defer resp.Body.Close()
// 3. 拿到库存扣减成功的结果之后,生成订单记录写入数据库,这里省略数据库操作
w.Write([]byte("下单成功,订单创建完成"))
}
func main() {
http.HandleFunc("/create_order", CreateOrderHandler)
// 启动订单服务,默认没有做请求超时全局配置
http.ListenAndServe(":8080", nil)
}
这段代码看起来完全能跑通,日常测试场景下库存服务响应都在50ms以内,根本看不出问题。接下来我们用Chaos Mesh给库存服务注入响应延迟故障,直接让库存服务的所有接口返回延迟变成1秒,对应的注入命令如下:
# 注入HTTP请求延迟故障,仅针对inventory-service服务的所有接口,延迟1s,持续5分钟
kubectl apply -f - <<EOF
apiVersion: chaos-mesh.org/v1alpha1
kind: HTTPChaos
metadata:
name: inventory-delay-chaos
namespace: business
spec:
mode: all
target:
selector:
namespaces: ["business"]
labelSelectors:
app: inventory-service
port: 80
delay: 1s
duration: 5m
scheduler:
cron: "@every 10m"
EOF
故障注入之后,我们马上观测订单服务的指标,不到1分钟就发现问题:订单服务的请求堆积数从日常的个位数涨到了上千,CPU使用率虽然只有30%,但是所有新的下单请求全部卡在调用库存服务的那一步,下单成功率直接跌到了0,完全偏离了我们之前定义的稳态。顺着链路排查我们就找到了两个核心薄弱点:第一是调用库存服务的时候没有设置任何超时时间,请求会无限等下去;第二是没有做降级策略,库存服务慢的时候完全可以先扣减缓存里的库存,异步同步到数据库,不用同步等库存服务返回。 接下来我们就对订单服务做针对性的改进,引入Go生态里常用的hystrix-go熔断器组件,加上超时控制和降级逻辑,改进后的代码如下:
package main
import (
"net/http"
"io/ioutil"
"github.com/afex/hystrix-go/hystrix"
)
// 初始化熔断器配置,针对调用库存服务的场景单独配置
func initHystrixConfig() {
// 名为inventory_service的熔断命令,超时时间设为200ms
hystrix.ConfigureCommand("inventory_service", hystrix.CommandConfig{
Timeout: 200, // 调用超过200ms直接判定为失败
MaxConcurrentRequests: 100, // 最多同时跑100个调用库存的请求
ErrorPercentThreshold: 30, // 错误率超过30%直接触发熔断
SleepWindow: 1000, // 熔断之后1秒内放少量请求做探测
})
}
// 降级逻辑:库存服务出问题的时候直接用本地缓存校验库存,返回成功异步处理
func InventoryFallback(goodsId string) ([]byte, error) {
// 这里直接从本地缓存读取库存数,判断是否足够,完全不需要调用远程库存服务
return []byte(`{"status":"success","note":"使用缓存库存校验,后续异步同步扣减结果"}`), nil
}
func CreateOrderHandler(w http.ResponseWriter, r *http.Request) {
userId := r.URL.Query().Get("user_id")
goodsId := r.URL.Query().Get("goods_id")
// 用熔断器包装调用库存服务的逻辑
var respBody []byte
err := hystrix.Do("inventory_service", func() error {
// 这里给http客户端单独设置200ms的超时时间,和熔断器超时保持一致
client := http.Client{
Timeout: 200,
}
resp, err := client.Get("http://inventory-service/DeductStock?goods_id=" + goodsId)
if err != nil {
return err
}
defer resp.Body.Close()
respBody, err = ioutil.ReadAll(resp.Body)
return err
}, func(err error) error {
// 触发降级的时候执行兜底逻辑
respBody, err = InventoryFallback(goodsId)
return err
})
if err != nil {
w.Write([]byte("下单系统繁忙,请稍后重试"))
return
}
// 后续生成订单写入数据库的逻辑保持不变
w.Write([]byte("下单成功,订单创建完成"))
}
func main() {
initHystrixConfig()
http.HandleFunc("/create_order", CreateOrderHandler)
// 全局设置整个服务的请求超时时间为500ms
server := &http.Server{
Addr: ":8080",
Handler: nil,
ReadTimeout: 1000,
WriteTimeout: 500,
}
server.ListenAndServe()
}
改进完之后我们重新注入同样的1秒延迟故障,发现订单服务的成功率依然稳定维持在99.9%以上,只有少量请求走到降级逻辑,完全没有出现请求堆积的雪崩问题,薄弱点就被彻底补上了。
四、这套方案的典型应用场景
第一个最常用的场景就是大促前的容灾演练,电商、零售行业每次大促之前,都可以用这套方法把所有核心依赖的故障场景全部跑一遍,把所有潜在的雪崩风险全部提前排查出来,避免大促期间出大问题。第二个场景是金融、支付类系统的合规性校验,很多金融监管要求系统必须满足多活容灾的能力,用混沌工程主动注入故障的演练结果,完全可以作为合规校验的证明材料,比你写十页PPT说明系统有多稳定都管用。第三个场景是微服务架构大规模迭代后的回归校验,很多公司重构完微服务之后,把原来的单体服务拆成了几十个小服务,根本没法挨个校验依赖关系的稳定性,用故障注入的方式跑一轮,就能把所有没考虑到的依赖问题全部找出来。第四个场景是SaaS多租户系统的资源隔离校验,很多SaaS服务号称做到了租户资源隔离,但是你给某一个租户的服务注入流量打满的故障,就会发现它直接把整个集群的带宽都占满了,其他租户全部没法用,这种问题用这套方法就能快速定位隔离策略的漏洞。
五、方案的优缺点和落地注意事项
5.1 核心优势
第一个优势是覆盖场景比传统压测全面得多,传统压测只能模拟正常流量的情况,而这套方案可以覆盖接口延迟、随机报错、网络分区、磁盘占满、CPU打满等几十种真实线上可能出现的故障场景,把系统的容错能力摸得一清二楚。第二个优势是可以把事后救火变成事前预防,以前都是线上出了故障,造成资损了才去补漏洞,现在主动提前注入故障发现问题,完全不会影响真实用户。第三个优势是排查隐式依赖的效率极高,很多分布式系统里没人记得的老旧依赖、文档没写清楚的跨服务调用,你靠代码走查根本找不全,但是只要你挨个把每个服务的接口都注入小故障,很快就能定位到所有依赖它的上游服务。
5.2 存在的短板
第一个短板是新手落地容易踩坑,如果没有做好流量隔离,直接在全量线上环境注入故障,很容易搞出大面积服务不可用的事故。第二个短板是对服务观测体系的要求比较高,如果你没有链路追踪、指标监控、日志采集的配套体系,就算注入了故障,你也根本不知道哪里出了问题,找薄弱点的效率会非常低。第三个短板是小团队刚开始玩的时候成本比较高,需要花人力梳理清楚所有核心链路的稳态指标,还要部署混沌工具,前期的准备工作不少。
5.3 落地必须遵守的注意事项
第一点,绝对不要一开始就直接在全量线上环境做演练,正确的步骤是先在和线上环境配置完全一致的预发布环境把所有故障场景跑通,验证没问题之后,再切1%的极小比例线上流量做演练,完全没问题之后再慢慢扩大演练的流量范围。第二点,所有故障注入操作必须配备一键回滚的开关,一旦发现故障影响范围超出预期,点一下就能立刻把注入的故障全部清除,几秒钟就能恢复业务。第三点,新手阶段千万不要一开始就玩太复杂的高危故障,优先从接口延迟、单比例调用错误这种影响范围只在单个服务的场景开始练,等到经验足够丰富了,再尝试注入网络分区、节点宕机这类影响范围更大的故障。第四点,所有演练的参与人员必须经过统一培训,演练前必须通知所有相关的开发、测试、运维同学,避免大家以为真的出了线上故障全员忙活排查,浪费不必要的人力。
六、改进效果的校验方法
你补完找到的薄弱点之后,不要觉得改完就完事了,必须要做二次校验,把你之前定位出问题的故障场景重新再注入一遍,看看之前的问题有没有完全解决,同时还要做扩展性校验,比如之前你注入的是1秒延迟,现在要测试一下3秒、5秒延迟的场景系统是不是也能扛住,避免下次遇到更严重的故障又出问题。同时你还要把所有验证通过的故障场景全部整理成自动化演练脚本,每次发版之前自动跑一遍,确保新的迭代不会把之前已经修好的容错逻辑改坏。
七、全文总结
总的来说,这套用主动故障发现薄弱点再针对性优化的方法,本质上是把分布式系统里不可控的未知风险,变成了你可以主动控制、提前验证的已知场景,不用再靠踩线上故障的坑来积累经验。哪怕是只有三五个人的小团队,也可以从最简单的给核心接口加延迟开始玩,不需要一开始就搞特别复杂的整套体系,慢慢迭代积累,系统的稳定性就能得到非常大的提升。
评论
围绕“分布式系统架构优化:基于混沌工程的薄弱环节发现与针对性改进策略”参与讨论