一、采集中断类故障的分层定位思路

日常跑日志采集任务的时候,碰到最多的问题就是前一秒采集还好好的,下一秒进程直接消失,或者日志文件新写的内容一条都采不到,这种采集中断问题占所有Flume线上故障的70%以上,绝大多数都不用查复杂的底层源码,顺着三层链路逐层扫就能找到原因。

1.1 第一层排查:进程异常退出类故障

这类故障的典型表现就是你跑起来的Flume进程过了几分钟直接没了,连报错提示都很少弹出来。很多小伙伴碰到这种情况第一反应是重启进程,结果重启之后没两分钟又崩,反复耗好几个小时找不到根因。我们统一用Apache Flume 1.9 配套Shell运维栈作为全场景技术栈,先跑几行命令快速锁定问题:

# 第一步先确认当前机器上是否还存活着目标Flume进程
ps -ef | grep flume | grep "your-agent-name" | grep -v grep
# 如果没输出结果,直接查Flume默认生成的运行日志,过滤错误关键字
grep -i error /opt/flume/logs/flume.log | head -20
# 如果日志量太大,直接查最后200行最新的运行记录,省的翻几千条历史日志
tail -200 /opt/flume/logs/flume.log

我之前碰到过至少十次这类故障,80%的原因都是配置写的时候手滑打错了字符,比如把hdfs Sink的type值多打了一个s写成hdfss,Flume启动的时候找不到对应的类,直接触发初始化异常退出,这类错误日志里会直接打印ClassNotFoundException的关键字,改完配置就能直接启动成功,根本不需要做其他多余操作。剩下20%的常见原因是JVM堆内存给的太小,采集峰值瞬间堆内存溢出,进程被系统直接杀掉,这种情况日志里会打印OutOfMemoryError的关键字,把Flume启动脚本里的Xmx参数从1G改成4G就能解决。

1.2 第二层排查:进程活着但完全不采数

这类故障更坑,你看进程状态是正常的,但是数据源的新日志一条都传不过来,最常见的原因是Source端的访问权限变了,比如业务组运维调整了日志所在目录的权限,把原来flume用户可读的权限改成了root私有,Flume跑起来拿不到文件的读取权限,直接在后台静默报错卡住。碰到这种场景直接跑权限校验命令就能快速修复:

# 先查看你配置的待采集日志目录的所有者和权限
ls -ld /data/app/logs/pay-service
# 如果发现所有者是root,权限是700,直接把目录的归属权改回flume启动用户
chown -R flume:flume /data/app/logs/pay-service
# 递归给所有日志文件加可读权限,避免单个日志文件权限异常漏采
chmod -R u+r /data/app/logs/pay-service

还有一种容易被忽略的场景是你配置的采集日志文件被别的脚本意外删除了,Flume的Exec Source配置的tail -f命令找不到文件直接退出,整个采集链路就断了,这种情况直接换成Spooling Directory Source或者Taildir Source就可以完美规避,不用再担心文件被删导致的中断问题。

二、数据延迟类故障的定位与优化

除了采集中断之外,第二高发的故障就是数据延迟,本来要求日志产生之后10秒内就要传到数仓里做实时统计,结果现在延迟了十几分钟甚至几小时,直接影响了业务方的实时报表输出。我们可以按照延迟的时长分成两个场景分别处理。

2.1 分钟级小延迟的快速调优

很多人搭Flume的时候完全不管默认配置,直接用官方自带的demo配置上线,内存Channel的容量开的特别小,一旦业务方日志量出现峰值,队列瞬间被填满,新进来的日志只能在Source端排队,延迟就越来越高。我们看一下典型的错误配置:

# 早期大家随手抄的demo级内存Channel配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000 # 整个队列最多只能存1000条日志,峰值分分钟堵死
a1.channels.c1.transactionCapacity = 100 # 单次事务最多只能处理100条数据,吞吐极低

这种配置哪怕只有每秒几百条的日志量,碰到业务峰值的时候分分钟就会把队列打满,延迟直接涨到好几分钟。针对日千万级日志量的线上场景,我们直接优化成下面的配置就能把延迟压到秒级:

# 适配中大规模生产场景的内存Channel优化配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000000 # 队列最大容量调整到100万条,足够扛住20分钟的流量峰值
a1.channels.c1.transactionCapacity = 3000 # 单次事务最多处理3000条数据,直接把吞吐提升30倍
a1.channels.c1.keep-alive = 30 # 写入操作的超时等待时间调整到30秒,避免峰值直接抛异常
a1.channels.c1.byteCapacityBufferPercentage = 20 # 队列内存预留20%的缓冲空间,避免OOM

改完配置重启之后你会发现之前排队堵了好几分钟的日志几秒钟就全部传输完成,延迟直接降到1秒以内,完全满足绝大多数实时采集的需求。

2.2 小时级大延迟的根因定位

如果碰到延迟已经涨到小时级,新数据完全不往Sink端写,但是Source端还在正常往Channel里塞数据,大概率是Sink端的下游服务出问题了。最常见的场景就是Sink写HDFS的时候,HDFS集群的DataNode挂了好几个,或者NameNode进入安全模式,Flume默认的重试机制会无限次重试写入,所有Sink工作线程全部卡在重试逻辑里,完全不处理新的数据,整个链路直接僵死。碰到这种情况我们直接打印线程栈就能确认问题:

# 自动获取当前Flume进程的PID
FLUME_RUN_PID=$(ps -ef | grep flume | grep "agent-name" | grep -v grep | awk '{print $2}')
# 把进程的全量线程栈输出到临时文件方便排查
jstack $FLUME_RUN_PID > /tmp/flume-thread-stack.log
# 过滤所有Sink相关的线程,看是不是全部卡在HDFS的IO重试方法上
grep -A 30 "SinkRunner-PollingRunner" /tmp/flume-thread-stack.log

如果确认所有Sink线程都卡在重试逻辑上,先等下游HDFS集群恢复正常,然后在Flume的Sink配置里加上重试次数限制,不要让它无限重试,就能避免后续再出现链路僵死几小时的问题。

三、通用排查思路的落地实操

碰到陌生故障不要上来就乱改配置重启,按照Source→Channel→Sink的顺序逐层排查状态,10分钟之内就能定位到99%的常见问题。

3.1 分层校验各环节吞吐指标

我们可以借助Flume自带的JMX监控接口,直接拉取三个环节的实时处理指标,看哪一层出现了阻塞:

# 开启Flume内置的指标拉取命令,查看最近1分钟Source端接收的总条数
echo "get org.apache.flume:name=SOURCE,type=Source EventReceivedCount" | java -jar /opt/flume/lib/jmxremote.jar 127.0.0.1 34545
# 查看Channel当前队列里的剩余待消费数据条数
echo "get org.apache.flume:name=CHANNEL,type=Channel EventPutAttemptCount" | java -jar /opt/flume/lib/jmxremote.jar 127.0.0.1 34545
# 查看Sink端最近1分钟成功写出的总条数
echo "get org.apache.flume:name=SINK,type=Sink EventDrainAttemptCount" | java -jar /opt/flume/lib/jmxremote.jar 127.0.0.1 34545

如果Source的接收条数在涨,但是Sink的写出条数完全不动,那肯定是Sink端出问题了,如果Source接收条数不动,说明Source端连不上数据源,这样分层定位完全不用瞎猜。

3.2 容易忽略的隐藏故障场景

还有一类非常少见但是碰到了会让你排查好几天的故障,就是你用的File Channel的磁盘分区出现坏道,磁盘IO直接100%,Flume往磁盘里写数据的时候每一次IO都要等几秒,整个链路的延迟直接涨到好几小时。碰到这种情况直接跑iostat命令看磁盘的io等待占比,如果util字段接近100%,直接把File Channel的目录迁移到正常的SSD磁盘上就能恢复。

四、适用场景与方案优缺点梳理

这套排查方案完全不需要安装任何额外的监控组件,在任何部署了Flume的机器上都可以直接落地。它的适用场景非常广,不管是几台节点的小型日志采集集群,还是几十台节点的中大型采集集群的常见故障都能快速处理。优点非常明显:零额外成本,不需要修改原有集群的配置,不需要学习复杂的监控系统,从新手到资深运维都能直接上手用,绝大多数故障都能在半小时之内解决。它也有对应的缺点,如果你的采集集群规模超过100台节点,一台一台登陆执行命令排查效率会很低,这时候建议直接对接Grafana监控做全集群指标聚合,排查效率会提升很多。

五、排查操作的核心注意事项

在排查故障的过程中有几个关键点千万要注意,避免人为造成数据丢失。第一点,碰到故障不要上来就直接kill -9强杀Flume进程,尤其是用File Channel的场景,强杀进程很可能导致Channel里的事务日志损坏,直接丢数据,正确的操作方式是先用kill -15优雅停止进程,等进程把Channel里的剩余数据全部消费完再退出。第二点,修改配置之前一定要先备份原来的配置文件,不要直接在原有配置上改,改崩了连回滚的版本都找不到。第三点,排查完故障恢复服务之后,一定要核对一下采集的总条数和源端的日志总条数是不是匹配,避免中间出现部分数据漏采没有发现。

六、实战经验总结

其实Flume本身是一个非常成熟稳定的日志采集组件,线上99%的故障都不是它本身的bug导致的,大部分都是配置写的不合理、权限异常、下游集群出问题这几类非常基础的问题,完全不用一碰到问题就去翻源码找底层原因。只要你按照我们讲的分层排查思路,一步步从Source查到Channel再查到Sink,把每一层的状态都校验清楚,任何故障都能快速定位解决,完全不用再急着到处查百度找解决方案。