一、先看一个让人崩溃的晚上

凌晨一点,手机连着弹出告警,某个服务的端口连接失败。你赶紧打开管理后台,看到服务状态清一色的 Running,副本数也没少。刚想松口气,告警又来了。你手动试了一下,果然有一部分请求会失败,但服务明明没挂,容器也都在。这时候你可能会怀疑网络、防火墙、负载均衡,甚至怀疑到 Swarm 本身。折腾了大半夜,最后发现,真正的坑其实藏在一个特别容易被忽略的地方——健康检查配置。

先别急着背锅,我们一步步拆。Swarm 这类编排系统,判断一个容器“可不可以接流量”,并不完全看进程是否活着。它还会参考一个叫“健康状态”的东西,而这个健康状态,完全取决于你给的检查命令到底准不准。如果命令选得不对,容器明明已经处理不了请求了,在 Swarm 眼里它依然是“健康”的,流量照样往里送,于是就会出现“服务 Running 却持续连接失败”的怪象。

这就像你让队员每天报告“我还活着”,但他其实已经累到无法干活了。只要他还能打出一个“好”,你依然会继续给他派任务。健康检查的配置,就是要避免这种“活着但不干活”的假象。

二、健康检查到底检查的是啥?

我们需要先分清两个概念:容器状态和健康状态。

容器状态是 Docker 的底层状态,通过 docker ps 看到的 Up 或 Running,只表示进程没退出,不代表应用能正常服务。健康状态则是在容器状态之上,由编排系统主动探测应用的可用性得到的。Swarm 通过你指定的 --health-cmd 在容器里面定时执行命令,根据命令的退出码判断容器是 healthy 还是 unhealthy。命令返回 0,就认为是好的;非 0,就认为是坏的。

2.1 误区一:把健康检查当成摆设

很多人图省事,配置健康检查时随便填个命令,比如 --health-cmd ls,或者干脆不配置。不配置的话,Swarm 不会执行任何探测,所有顺利启动的容器都会被当作 healthy。这样当然不行,等于把大门敞开,让所有流量都涌向可能已经僵死的实例。

2.2 误区二:命令选错,检查了个寂寞

另一个极端是命令太“表面”。比如检查某个临时文件是否存在,而不检查真正的业务接口。只要那个文件还没被清理,命令就始终返回成功,跟没检查差不多。下面这个例子就是一个典型的错误姿势:

# 错误的健康检查示例:只检查一个文件是否存在
# 即使应用已经无法响应HTTP请求,只要临时文件还在,容器就认为自己是健康的
docker service create \
  --name web-demo \
  --replicas 3 \
  --publish published=8080,target=80 \
  --health-cmd "ls /tmp/health.txt" \
  --health-interval 5s \
  --health-retries 3 \
  nginx:alpine

这里 ls /tmp/health.txt 如果文件存在,就会返回 0,否则返回非 0。但一个正常启动的容器,可能这个文件一直存在,这就导致健康检查失去了意义。一旦容器内部的应用线程池满、连接数耗尽,命令照样能执行成功,Swarm 依然把容器标记为 healthy,流量继续进来,然后应用拒绝连接,最终表现为“服务 Running 却连接失败”。

三、Swarm 的健康检查是怎么运转的

Swarm 模式的健康检查,其实就是 Docker 引擎在容器内部周期性地执行你指定的命令。它有几个关键参数:

  • --health-cmd:要执行的命令,通常在容器内通过 shell 执行。
  • --health-interval:两次检查之间的间隔。
  • --health-timeout:单次检查的超时时间,超时视为失败。
  • --health-retries:连续失败多少次后,标记为 unhealthy。
  • --health-start-period:容器刚启动时,给予应用的“宽限期”,在这个时间内检查失败不计入重试。

下面我们看一个正确的配置示例。本文所有示例都在 Bash 终端中执行,没有使用其他技术栈。

3.1 一个正确的配置示例

# 正确的健康检查示例:使用 wget 探测 HTTP 接口
# 这里检查的是根路径,实际项目中最好换成你的业务健康端点
docker service create \
  --name web-demo \
  --replicas 3 \
  --publish published=8080,target=80 \
  --health-cmd "wget -q --spider http://localhost/ || exit 1" \
  --health-interval 10s \
  --health-timeout 5s \
  --health-retries 3 \
  --health-start-period 30s \
  nginx:alpine

这个命令通过 wget --spider 发起一个 HTTP 请求,不需要下载内容,只要返回成功,就说明 Web 服务至少能响应请求。如果服务卡死或连接断掉,wget 会返回非 0,健康检查就会失败。连续 3 次失败后,Swarm 会把该任务标记为 unhealthy。

3.2 和 Kubernetes 里的 readiness probe 有什么关系

如果你用过 Kubernetes,会发现 Swarm 的健康检查很像 Kubernetes 的存活探针。不过 Swarm 没有把“就绪”和“存活”分开,它只有一档健康状态。这个状态既影响容器是否会被重启,也影响服务在滚动更新时是否被替换。但要注意,Swarm 自带的 VIP 负载均衡并不会在任务状态变成 unhealthy 后立刻把流量摘除,它仍然会把新连接转发给“Running”的容器。这就意味着,健康检查只能作为业务决策的参考,不能完全当作流量切换的开关。

四、排查路径:一步步揪出僵尸实例

现在回到开头的场景。服务状态是 Running,但连接失败。我们要找出是不是健康检查配错了,以及是不是有流量被发到了僵尸实例。下面的每一步都可以在命令行里直接操作。

4.1 第一步:查看服务任务的状态

先看服务有没有异常重启或者长时间处于 unhealthy 状态。

# 查看服务下面的所有任务,以及它们的健康状态
docker service ps web-demo --no-trunc

输出里,如果 CURRENT STATE 列出现 Running,不代表健康,你需要看 ERROR 列或者看容器的具体状态。如果所有任务都是 Running,但应用告警依然存在,我们接着往下查。

4.2 第二步:手动执行健康检查命令

找到其中一个容器的 ID,在容器里手动跑一遍健康检查命令,看它究竟能不能通过。

# 先拿到容器 ID,通过服务名过滤
docker ps --filter "label=com.docker.swarm.service.name=web-demo" --format "{{.ID}}"

# 手动执行健康检查命令,看返回码
docker exec <容器ID> wget -q --spider http://localhost/ || echo "健康检查失败"

这里用 docker exec 进入容器手动跑一遍,如果能成功,说明命令本身没问题;如果失败,那问题就在于容器中的应用无法响应,此时健康检查配置是对的,是应用本身出了问题。

如果手动执行成功,但服务还是被标记为 unhealthy,那很可能是命令依赖了环境变量、临时文件等,在容器中没有及时更新。这时候要去检查健康检查命令是不是依赖了不该依赖的东西。

4.3 第三步:看容器日志

连接失败的请求,通常会被应用记录在错误日志里。我们把这部分日志拉出来。

# 查看容器最近 200 行日志,过滤连接失败相关
docker logs --tail 200 <容器ID> | grep -E "connection refused|timeout|reset"

如果能观察到大量错误日志,而健康检查命令却返回 0,说明健康检查命令没有覆盖到真正的失败场景。这就拿到了“僵尸实例”的证据——应用已经拒绝连接,但命令还在假装一切正常。

4.4 第四步:检查服务发现和负载均衡

Swarm 的 VIP 会根据任务的 Ready 状态做负载均衡。关键点是,只要容器是 Running,即使 unhealthy,也依然会被算作“可用”,拿到新连接。我们可以查看服务对应的虚拟 IP,然后手动去访问各个副本的 IP,定位问题实例。

# 查看服务对应的虚拟 IP(VIP)
docker service inspect web-demo --format "{{json .Endpoint.VirtualIPs}}"

# 在容器内部使用 getent hosts 查看服务名字解析出的 IP 列表
docker exec <容器ID> getent hosts web-demo

如果多个副本只有一个有问题,那么访问服务域名时,会间歇性失败。此时再去看这个 IP 对应的容器,基本上就能锁定僵尸实例。

4.5 第五步:确认健康检查参数是否合理

有时候健康检查间隔设得太短,比如 1 秒一次,会给应用带来额外压力;有时候又设得太长,无法及时发现故障;还有可能超时时间比应用正常响应时间还短,导致误判。这时候需要调整参数,并观察一段时间。

例如,一个正常需要 3 秒才能返回的业务接口,健康检查超时却设成了 2 秒,这会导致每次都被判定为失败,容器被反复重启。所以在调参时,要拿业务真实的响应时间来作为参考。

五、正确配置健康检查的姿势

看完排查过程,你应该能理解,健康检查不是“随便填个命令”,而是一条必须和应用真实状态挂钩的决策链路。下面我们给出一个更贴近实际业务的示例。

5.1 更完整的业务健康检查

假设我们的服务是一个 Web 应用,提供了一个 /healthz 接口,内部会检查数据库连接池是否可用。如果数据库挂了,这个接口就返回 500。健康检查命令就可以这样配:

# 使用 curl 检查 /healthz 接口
# 注意:先确认镜像里安装了 curl,或者用 wget 代替
docker service create \
  --name biz-app \
  --replicas 2 \
  --publish published=9090,target=8080 \
  --health-cmd "curl -fsS http://localhost:8080/healthz || exit 1" \
  --health-interval 10s \
  --health-timeout 5s \
  --health-retries 3 \
  --health-start-period 40s \
  biz-app:1.2

如果镜像里没有 curl,可以用 wget,参数略有不同:

# 使用 wget 检查 /healthz 接口,并设置超时时间
docker service update \
  --health-cmd "wget -q -T 3 -O - http://localhost:8080/healthz || exit 1" \
  --health-interval 10s \
  --health-timeout 5s \
  --health-retries 3 \
  biz-app

这里 -O - 表示把响应输出到标准输出,不需要保存到文件。只要接口返回 200,wget 就返回 0;否则返回非 0。

5.2 结合启动宽限期

很多应用启动时需要进行初始化,比如加载配置、连接数据库、预热线程池。如果健康检查在启动后立刻检查,大概率会失败。Swarm 提供了 --health-start-period 参数,用来告诉编排系统“这段时间之内别急着判定失败”。这个参数非常有用,建议至少设置成应用平均启动时间的两倍。

# 再次强调 start-period 的作用
docker service create \
  --name slow-start-app \
  --health-cmd "curl -fsS http://localhost:8080/ready || exit 1" \
  --health-interval 10s \
  --health-timeout 5s \
  --health-retries 3 \
  --health-start-period 1m \
  slow-start-app:latest

有了这个宽限期,即使应用启动时短暂不可访问,也不会被反复重启。

5.3 进阶:使用一个检查脚本

如果健康检查的逻辑比较复杂,比如需要检查缓存、消息队列等多个依赖,那么最好将检查逻辑写成一个脚本,放到镜像里,然后在 --health-cmd 中调用。这样既清晰又便于维护。

# 假设镜像内已经有一个 /usr/local/bin/healthcheck.sh
# 这个脚本会依次检查数据库连接池、Redis、消息队列
# 任何一个失败都会退出并返回非 0
docker service create \
  --name complex-app \
  --health-cmd "/usr/local/bin/healthcheck.sh" \
  --health-interval 15s \
  --health-timeout 10s \
  --health-retries 3 \
  --health-start-period 2m \
  complex-app:2.0

这里脚本的具体内容我们可以不用展开,但原则是:脚本中所有关键依赖都要检查到,且任何一步失败都要返回非 0。这样健康检查才能真实反映应用能否处理流量。

六、应用场景与优缺点分析

6.1 典型应用场景

健康检查适用于所有需要对外提供服务的容器,尤其是多副本服务。当你有三个副本,其中一个内存泄漏或线程池耗尽时,健康检查能帮你快速定位问题,或者通过自动重启缩小影响。它还适用于蓝绿发布、滚动更新。Swarm 在进行滚动更新时,会等待新任务变为 healthy,才会继续更新下一批副本,这是保证发布安全的重要手段。

6.2 优点

一个配置得当的健康检查,能大幅减少“假 Running”带来的线上事故。它让编排系统具备基本自治能力:发现应用不健康,可以自动重启任务;发布时也能有效判断新版本是否可用。另外,健康检查可以在容器内部进行,不需要额外暴露端口,安全性相对较高。

6.3 缺点和坑

健康检查不是万能的。它只能检查你写好的命令,如果你的命令覆盖不到应用真正的弱点,那等于没有。更麻烦的是,健康检查本身可能成为新的故障源:检查命令消耗 CPU、网络超时导致误判、间隔太短把应用拖垮。此外,Swarm 并不会因为一个任务 unhealthy 就立刻将它移出负载均衡,这个特性容易被人误解,导致“明明配置了健康检查,还是会把流量发给坏实例”的困惑。

七、注意事项

  1. 健康检查命令一定要使用容器内存在的工具,不要使用宿主机的。比如镜像里没有 curl,就用 wget,或者安装 curl。
  2. 检查内容要贴近真实业务,优先检查 HTTP 业务端点,避免只检查进程存活。
  3. 设置合理的超时和间隔。间隔太短会产生额外请求压力;超时太短会让慢请求频繁触发失败。
  4. --health-start-period 一定要给足,尤其是启动依赖较多服务时。
  5. 不要在健康检查命令中依赖文件系统里的临时缓存,否则缓存还在时,健康检查永远成功。
  6. 健康检查命令要尽量保持简单,不要在命令里做复杂计算或启动子进程,避免自身成为性能瓶颈。
  7. 多副本场景下,建议结合外部监控和负载均衡层的健康检查一起使用,不要只依赖 Swarm 自身的判断。

八、总结

服务显示 Running 却持续连接失败,多半是“进程活着但业务没准备好”或者“业务已经不行了但健康检查还认为很好”。健康检查配置的核心,是用真实的业务探针代替“我还没死”的报告。一个只检查 ls 或者 true 的命令,不会带来任何保护,反而会给你虚假的安全感。排查时,先确认健康状态,再手动执行检查命令,最后结合日志和负载均衡链路,基本就能揪出躲在 Running 状态后面的僵尸实例。记住,Swarm 不会自动把 unhealthy 的流量摘除,除非你做了额外处理。真正靠谱的方案,是让健康检查命令变成业务可用性的晴雨表,并且配合合理的间隔、超时和启动宽限,才能让编排系统真正为你挡子弹。