一、排查负载均衡异常的核心思路
很多线上业务碰到过这种怪事:高峰期一半用户刷页面转圈,明明三台后端服务器资源占用才30%,整体QPS却上不去,研发查了半天应用日志没报错,运维看了负载均衡面板的监控数据也显示流量分布均匀,折腾大半天找不到根因。这时候最靠谱的工具就是Wireshark,不用靠各种模糊的监控指标,直接把客户端到负载均衡器、负载均衡器到后端真实服务器的每一步网络交互都扒出来看,所有藏在黑盒里的异常都能显形。很多人觉得Wireshark是新手玩的小工具,实际上在负载均衡故障排查场景里,它比大部分收费的商用监控工具定位问题的效率高好几倍,不需要你记一大堆晦涩的性能指标,只要会对比三个不同点位的抓包时序,就能快速把问题揪出来。
1.1 传统排查方法的痛点
之前大家排查负载均衡问题要么盯着后端服务器的CPU内存使用率,要么看负载均衡自带的后台统计,碰到偶发的异常根本找不到证据,经常出现研发说负载均衡偷偷丢包,运维说后端服务响应慢的甩锅场景,扯半天都没结论。还有很多运维改完负载均衡调度策略之后,不知道实际生效效果咋样,全靠蒙,等到大促出问题了才发现策略根本没按预期跑。
1.2 Wireshark适配这类场景的天然优势
Wireshark支持几乎所有网络协议的解析,你不管用的是Nginx、F5还是云厂商的SLB,只要能在对应的端口上抓包,就能把全链路的每个数据包的来龙去脉看的一清二楚,甚至连负载均衡器偷偷把连接重置、改了数据包序列号这种细节都能抓到,完全不存在信息差。哪怕是没接触过几次抓包的新手,跟着步骤一步步对比三个点位的数据包,也能快速定位问题。
二、抓包前的准备工作
很多人抓包抓了半天全是无用的广播包、管理流量,翻半天找不到自己要的业务包,完全是前期准备没做到位,只要提前做好点位规划和过滤器配置,抓出来的包直接就能用来分析。
2.1 三个必选的抓包点位
第一个点位是客户端侧,找几个正在反馈访问卡顿的用户,用Wireshark抓自己电脑上发出去的业务流量,确认客户端发的请求是不是真的到了公网;第二个点位是负载均衡器的入口网卡,抓所有客户端访问LB公网IP的流量;第三个点位是后端真实服务器的内网网卡,抓LB和后端服务器之间交互的所有流量。三个点位的包拿到一起做时序比对,任何一个环节丢包都能立刻定位到是哪层出的问题。
2.2 提前配置过滤规则
生产环境带宽大,全量抓包分分钟就把磁盘占满了,提前用过滤规则把无关的管理流量、其他业务的流量全部排除,只保留需要排查的业务流量就行。下面给出通用的抓包脚本示例。
# 技术栈:Shell
# 捕获负载均衡器业务网卡上80/443业务端口的流量,排除22端口SSH管理流量
tcpdump -i ens160 port 80 or port 443 and not port 22 -w lb_full_traffic.pcap
# 单独捕获指定后端真实服务器192.168.1.10和LB之间的交互流量
tcpdump -i eth0 host 192.168.1.10 and host 10.0.0.1 -w rs_10_traffic.pcap
# 过滤只抓取握手异常、重置类的异常包,极大缩小包文件体积
tcpdump -i ens160 'tcp[tcpflags] & (tcp-syn|tcp-ack|tcp-rst) != 0' -w abnormal_tcp.pcap
2.3 抓包避坑注意事项
不要在带宽跑满的高峰期开全量抓包,本身抓包操作就会消耗负载均衡器的CPU和磁盘IO,很容易雪上加霜把整个业务拖慢。抓包时长要覆盖异常复现的完整周期,比如用户反馈卡顿的时间持续了5分钟,三个点位就要同时开抓至少5分钟,不要断断续续抓片段,漏掉关键的异常包。
三、用Wireshark排查常见LB异常的实操步骤
我们排查过几十起负载均衡异常,90%以上的问题都属于三类典型场景,跟着下面的步骤走,基本上半小时内就能定位根因。
3.1 场景一:流量分配极端不均
之前碰到过一个电商业务,三台后端服务器,高峰期第一台CPU跑到90%,剩下两台才20%,运维查配置发现调度策略写的是轮询,按理说流量应该均匀分配,怎么都想不通为啥差距这么大。我们把三个点位的抓包文件导出来,统计每台后端服务器收到的客户端首次握手SYN包的数量,结果发现70%的连接全部打到了第一台服务器上,剩下两台分剩下30%。顺着源IP追溯才发现,运维前几天改配置的时候不小心把轮询改成了源IP哈希,公司的大部分流量来自各个线下门店,门店的出口公网IP只有不到20个,相当于几千个用户的请求全部被算成同一个源IP,全打到同一台服务器上,不挤爆才怪。下面是用tshark直接统计SYN包分布的脚本,不用手动一个个数。
# 技术栈:Shell
# 从LB全量抓包文件里统计所有TCP首次握手SYN包的目的IP,得到每台后端RS分到的连接数
tshark -r lb_full_traffic.pcap -Y "tcp.flags.syn == 1 and tcp.flags.ack == 0" -T fields -e ip.dst | sort | uniq -c
# 输出参考结果:12492 192.168.1.10,2671 192.168.1.11,2589 192.168.1.12
# 一眼就能看出第一台RS分到的连接数是另外两台的4倍多,分配严重不均
3.2 场景二:大量请求超时丢包
很多时候用户反馈访问超时,后端应用日志里却完全没收到对应的请求,这说明请求在负载均衡器这一层就被丢了。我们之前排查过一个场景,抓包看客户端发了SYN包给LB,LB也回了SYN+ACK,然后LB把连接转发给后端RS之后,RS发回的SYN+ACK包直接被LB回了RST重置掉,连接根本建不起来。顺着这个线索查LB的内核参数才发现,之前的负载均衡器的连接跟踪表最大值只配了65535,高峰期并发连接涨到7万多的时候,新的连接直接写不进连接跟踪表就被丢了,完全没留下任何错误日志,要不是抓包根本发现不了这个隐疾。
3.3 场景三:会话保持莫名其妙失效
不少需要上传大文件的业务,用户经常碰到传一半就断了的情况,查业务日志发现同一个用户的请求前后被分到了不同的后端服务器,会话完全没保持住。抓包看交互细节才发现,运维之前开的源IP会话保持策略,没有绑定cookie,很多用户用的是手机流量,每刷一次页面源IP就变了,LB直接把请求当成新连接分给别的RS,会话自然就断了。
四、基于抓包结果优化负载均衡策略的落地方法
定位到问题之后,对应的优化策略完全可以基于抓包得到的真实流量数据来做,不用拍脑袋改配置,优化完之后再通过抓包验证效果,保证所有策略都按预期生效。
4.1 替换不合理的调度算法
如果业务的用户入口IP很集中,千万不要用源IP哈希的调度策略,直接换成加权最小连接算法,还可以做动态权重调整,根据每台后端服务器的实时CPU、内存使用率自动调整分配的流量权重,负载越高的服务器分到的新连接越少,完全避免流量倾斜的问题。下面是自动调整Nginx负载均衡权重的Shell脚本,直接就能上线用。
# 技术栈:Shell
# 定期采集3台后端RS的实时负载,自动更新Nginx负载均衡的上游权重,重载生效
#!/bin/bash
# 定义后端服务器地址数组
rs_list=("192.168.1.10" "192.168.1.11" "192.168.1.12")
weight_arr=()
# 遍历每台RS,通过SSH采集CPU空闲率,换算成1-10区间的权重值
for rs in ${rs_list[@]}
do
cpu_idle=$(ssh admin@$rs "top -bn1 | grep Cpu | awk '{print \$8}'")
weight=$(echo "scale=0; $cpu_idle / 10 + 1" | bc)
weight_arr+=($weight)
done
# 生成新的上游配置文件,替换旧配置
cat > /etc/nginx/conf.d/upstream_new.conf << EOF
upstream business_cluster {
server 192.168.1.10:80 weight=${weight_arr[0]} max_fails=3 fail_timeout=10s;
server 192.168.1.11:80 weight=${weight_arr[1]} max_fails=3 fail_timeout=10s;
server 192.168.1.12:80 weight=${weight_arr[2]} max_fails=3 fail_timeout=10s;
}
EOF
# 校验配置合法性后重载Nginx,不中断业务
nginx -t && nginx -s reload
echo "`date` 已自动更新LB上游权重为${weight_arr[*]}" >> /var/log/lb_adjust.log
4.2 优化负载均衡器内核参数
针对连接跟踪表满导致的丢包问题,直接调大连接跟踪表的最大值,同时把TCP established连接的超时时间从默认的5天改成2分钟,及时释放无效连接,让10万级并发场景也不会出现连接跟踪表满的问题。
# 技术栈:Shell
# 优化负载均衡器内核网络参数,适配高并发场景
# 临时生效调整连接跟踪表最大值
echo 262144 > /proc/sys/net/ipv4/ip_conntrack_max
echo 120 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
# 写入sysctl配置文件永久生效
echo "net.ipv4.ip_conntrack_max = 262144" >> /etc/sysctl.conf
echo "net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 120" >> /etc/sysctl.conf
sysctl -p
4.3 替换基于cookie的会话保持策略
把之前基于源IP的会话保持改成负载均衡器自动植入cookie的会话保持机制,时长设置为1小时,不管用户的公网IP怎么变,同一个浏览器发起的请求都会落到同一台后端服务器上,既不会出现流量倾斜,也能保证大文件上传这类长会话业务的可用性。优化完之后再通过抓包统计流量分布,确认流量均匀分配到所有后端服务器上,没有异常丢包之后就可以正式上线。
五、应用场景、技术优缺点、注意事项
5.1 适用场景
这套方案适合所有碰到负载均衡相关异常的场景,比如新上线的负载均衡器验收、大促前的流量调度策略校验、偶发的无规律访问超时故障排查、微服务网关的流量分配异常定位等,不管你用的是硬件负载均衡还是软件负载均衡,都可以用这套方法排查问题。我们去年帮电商客户做大促优化的时候,用这套方案把集群的承载能力提升了两倍多,没加一台新服务器就扛住了比往年高3倍的大促流量。
5.2 技术优缺点
优点是完全透明没有黑盒,所有结论都有抓包的数据包作为实锤,不会出现各团队甩锅的情况,学习门槛很低,哪怕是刚入门的开发者或者运维,跟着步骤一步步比对数据包就能定位问题,不需要掌握复杂的性能调优知识。缺点是大流量场景下长时间全量抓包会消耗一定的CPU和磁盘资源,包文件太大的时候分析起来比较耗时,需要提前用过滤规则缩小排查范围。
5.3 注意事项
如果要分析HTTPS业务的应用层内容,需要提前导出负载均衡器上的SSL私钥导入Wireshark,不然抓下来的包都是加密的,看不到具体的HTTP请求内容。生产环境抓包之前一定要先备份负载均衡器的配置,避免操作过滤规则的时候不小心把业务流量拦截。抓下来的包文件里包含用户的请求数据,涉及用户隐私,绝对不能随便外传。
六、文章总结
很多人碰到负载均衡的问题第一反应就是换更贵的硬件设备,或者加更多的后端服务器,实际上大部分负载均衡异常都是调度策略配置错误、内核参数没优化导致的,完全不需要额外增加硬件成本。用Wireshark全链路抓包的方法相当于给整个网络链路装了个高清摄像头,所有的细节都能看的一清二楚,跟着这套流程走,哪怕你没有太多网络知识储备,也能快速定位别人排查好几天都找不到的负载均衡异常,用最低的成本把集群的承载能力提到最高,避免高峰期出故障造成业务损失。
评论
围绕“Wireshark排查网络负载均衡器异常及优化负载均衡策略的实操方案”参与讨论