我所在的公司之前用Logstash搭了日志采集管道,处理每天几百TB的微服务日志,但运维同学吐槽说每台采集服务器跑的Logstash进程,内存动不动就占80%+,CPU偶尔还能飙到90%,凌晨日志高峰时甚至会出现采集延迟超过10秒的情况,后来听同事推荐试了Vector,迁移后才发现原来Rust写的单二进制工具在这个场景下差这么多。
一、为什么从Logstash转到Vector(踩坑前的背景)
1.1 Logstash在超大规模日志下的硬伤
之前我们做的是微服务集群的日志采集,每台服务器上有十几个微服务,每个服务的日志量加起来每天有几十GB,总共有上百台采集服务器。Logstash的配置需要分开写input、filter、output三个部分,而且每个插件都是单独加载的,比如file输入插件、grok过滤插件、kafka输出插件,都是JRuby写的进程,加上JVM本身的内存占用(就算调了Xms和Xmx,至少也要1G),单台服务器上跑2个Logstash进程,32G内存就用了2G左右,剩下的内存根本不够用。而且JRuby的垃圾回收机制很容易出问题,每到凌晨日志量暴涨的时候,GC停顿就会导致整个采集管道的延迟飙升,有时候甚至会丢日志,运维同学每次看到监控都会头疼。
1.2 发现Vector的契机
当时在找替代方案的时候,看了Vector的官方文档,发现它是用Rust写的单二进制工具,也就是说整个程序就一个可执行文件,不用依赖JVM或者其他运行时,内存占用和CPU开销都很低。先在一台测试服务器上搭了小环境,用同样的Nginx日志做测试,结果Vector的内存占用只有Logstash的1/5,CPU开销不到Logstash的1/3,而且启动速度快了好几倍,就决定试点迁移。
二、Rust单二进制架构怎么解决资源问题
2.1 单二进制的核心优势
Vector的单二进制架构意味着所有的功能模块(输入、过滤、输出)都在同一个进程里,不用像Logstash那样每个插件单独开实例,也不用JVM的 overhead。举个实际的配置对比,同样是采集Nginx日志,过滤5xx错误,输出到Kafka,Vector的配置是这样的:
# Vector配置示例:采集Nginx错误日志到Kafka
# 输入:采集本地Nginx日志文件
[sources.nginx_logs]
type = "file"
path = "/var/log/nginx/*.log" # 匹配所有Nginx日志文件
start_position = "beginning" # 从日志开头开始读取,适配首次启动的场景
# 过滤:只保留状态码500以上的错误日志
[transforms.error_filter]
type = "filter"
inputs = ["nginx_logs"]
condition = ".status >= 500" # 用JSON路径语法匹配日志中的状态码
# 输出:把过滤后的日志发送到Kafka集群
[sinks.kafka_output]
type = "kafka"
inputs = ["error_filter"]
bootstrap_servers = "kafka-broker-1:9092,kafka-broker-2:9092" # Kafka集群节点
topic = "nginx_error_logs" # 目标Topic
encoding = "utf8" # 日志编码格式
而同样功能的Logstash配置,需要这样写:
# Logstash配置示例:同样的采集过滤逻辑
input {
file {
path => "/var/log/nginx/*.log"
start_position => "beginning"
sincedb_path => "/dev/null" # 不记录读取位置,适配首次测试
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" } # 解析Nginx日志格式
}
# 过滤5xx错误示例
if [status] >= 500 {
drop {}
}
}
output {
kafka {
bootstrap_servers => "kafka-broker-1:9092,kafka-broker-2:9092"
topic => "nginx_error_logs"
}
}
从配置量就能看出来,Vector的配置更简洁,而且运行时的资源占用天差地别:Vector的进程大小只有几十MB,内存占用稳定在100M以内,而Logstash的进程光是JVM就占了1G,加上插件的内存,总共有1.2G左右。
2.2 Rust的性能加持
Rust是系统级编程语言,没有垃圾回收机制,所以不会出现像JRuby那样的GC停顿,这对超大规模日志采集来说太重要了。之前用Logstash的时候,凌晨12点到2点的日志高峰,GC停顿偶尔会达到8秒,导致日志采集延迟超过10秒,而用Vector之后,延迟一直保持在1秒以内,因为没有GC停顿,整个进程的响应速度非常快。而且Rust的内存管理很高效,没有内存泄漏的问题,Logstash偶尔会出现内存占用慢慢上涨的情况,需要定期重启,而Vector跑了几个月都没出现内存泄漏的问题,运维再也不用半夜起来重启服务了。
三、实际迁移中的踩坑细节
3.1 正则匹配的兼容坑
之前用Logstash的时候,grok正则已经调好了,直接复制到Vector里,结果发现有些日志匹配不上,后来才发现Vector的grok插件和Logstash的语法略有不同,比如Logstash里的%{NUMBER}需要加后缀,而Vector里的%{INT}更准确,还有Logstash里的[status]在Vector里虽然也是一样的,但正则匹配的时候需要注意转义,比如有些日志里的状态码是200,复制过来之后没有转义,导致匹配失败。后来花了一上午的时间,把所有的grok正则都调整成Vector兼容的格式,才解决了匹配问题。
3.2 日志偏移的兼容问题
Logstash用的是sincedb文件来记录日志的读取位置,迁移的时候想直接把sincedb复制到Vector的data目录里,结果Vector不认,因为Vector的状态存储是用自己的格式记录的,而且存在磁盘的/var/lib/vector目录里,不是用sincedb。后来只能先把Vector的状态存储清空,重新扫了一遍所有的日志文件,导致中间有5分钟的重复日志,虽然最后处理了重复日志,但还是建议迁移的时候不要直接复制状态文件,最好重新开始采集,避免格式不兼容导致的问题。
3.3 大规模场景下的资源调度
之前每台服务器只能跑2个Logstash进程,因为内存不够,现在用Vector,每台服务器可以跑10个Vector进程,而且每个进程的内存只有100M左右,32G的服务器现在用了20G左右,利用率提升了好几倍。不过一开始没注意,把10个进程都设置成了同样的资源限制,导致CPU有时候会不够用,后来调整了每个进程的CPU配额,只给每个进程分配20%的CPU,剩下的给其他服务,就稳定了。
四、使用Vector的注意事项
4.1 配置模块化管理
Vector的配置可以用includes来拆分,适合超大规模的场景,因为当有上百个服务的时候,配置文件会很多,把input、transform、output拆分成单独的文件,方便管理,比如:
# Vector的目录结构:/etc/vector/ 下面有sources、transforms、sinks三个子目录
# vector.toml的主配置
data_dir = "/var/lib/vector" # 存储状态和数据的目录
# 加载所有输入配置
[sources]
include = ["/etc/vector/sources/*.toml"]
# 加载所有转换配置
[transforms]
include = ["/etc/vector/transforms/*.toml"]
# 加载所有输出配置
[sinks]
include = ["/etc/vector/sinks/*.toml"]
这样管理起来很方便,新增服务的时候只要加一个对应的配置文件就行,不用修改主配置。
4.2 资源限制的设置
虽然Vector资源占用低,但还是要设置合适的资源限制,防止它占用过多的资源影响其他服务,比如用systemd来管理Vector进程,设置CPU和内存的限制:
# /etc/systemd/system/vector.service 配置文件
[Unit]
Description=Vector Log Collector
After=network.target # 依赖网络启动,避免启动时连不上Kafka
[Service]
User=vector # 用专门的vector用户运行,避免权限问题
Group=vector
ExecStart=/usr/bin/vector --config /etc/vector/vector.toml # 启动命令
Restart=always # 崩溃自动重启
LimitNOFILE=65536 # 打开文件数限制,避免采集大量日志时报错
CPUQuota=20% # 每个Vector进程的CPU配额,根据服务器核数调整
MemoryHigh=512M # 每个进程的内存上限,超过会被OOM killer杀掉
[Install]
WantedBy=multi-user.target # 开机自启
4.3 监控的配置
Vector自带了内部指标,可以输出到Prometheus,方便监控它的性能,比如内存、CPU、日志吞吐量,配置如下:
# 添加监控的配置
[sources.internal_metrics]
type = "internal_metrics"
scrape_interval = "1s" # 每秒采集一次指标,足够实时监控
# 输出到Prometheus Exporter
[sinks.prometheus_exporter]
type = "prometheus_exporter"
inputs = ["internal_metrics"]
address = "0.0.0.0:9090" # 监听所有接口的9090端口,Prometheus可以拉取
这样Prometheus就可以拉取Vector的指标,设置告警规则,比如内存超过400M或者CPU超过70%的时候触发告警,及时处理问题。
五、总结
从Logstash迁移到Vector的过程,虽然遇到了配置兼容、日志偏移等小坑,但整体的收益非常大:每台采集服务器的内存利用率从原来的6%左右提升到了60%左右,CPU利用率从原来的15%左右提升到了50%左右,日志采集延迟从原来的平均5秒降到了1秒以内,而且不用再担心GC停顿导致的服务中断。Vector的Rust单二进制架构,把之前Logstash的核心痛点都解决了,适合超大规模的日志采集场景,尤其是每天几百TB甚至更多的日志量的时候,Vector的优势会更明显。对于运维和开发来说,这个迁移是非常值得的,虽然有一些踩坑,但后续的维护成本降低了很多,日志采集的稳定性也提升了。
评论
围绕“从Logstash迁移到Vector的真实踩坑记录:聊聊Rust单二进制架构在超大规模日志采集管道场景里凭什么把内存占用与CPU开销压下来”参与讨论