一、啥是节点配置漂移,为啥它是日常运维的隐形坑
你有没有遇见过这种情况:明明所有业务服务器都已经交给Chef做配置管理了,隔三差五抽查节点配置,总能找出和预期基线对不上的地方,小到某个服务的端口号被临时改了没同步,大到核心安全配置被关了留下漏洞。这种你当初定好的标准化配置,和节点实际运行状态慢慢出现偏差的现象,就是配置漂移。 很多人刚开始用Chef的时候都以为只要把规则写好,所有节点就会自动和服务端的配置保持完全一致,实际上跑上生产环境半年以上就会发现,漂移根本防不住:临时排查故障的时候运维同事为了省时间直接登服务器改了sshd配置,改完忘了同步回Chef的规则库;某个业务方自己在节点上装了第三方一键部署脚本,直接把Chef管理的Nginx配置覆盖了;系统自动触发的小版本更新,偷偷把Chef锁死的openssl包升到了非指定版本,这些场景累加起来,不出三个月你管理的几十上百台节点,能有三分之一的配置和你当初定的基线对不上。
二、配置漂移的典型应用场景
很多人会觉得配置漂移就是个小问题,没必要花精力专门处理,直到真的踩了坑才后悔没早做修复,最常见的几个触发场景几乎所有运维团队都遇见过。
2.1 等保合规审计场景
现在绝大多数互联网、金融、政务相关的业务,每半年到一年就要做一次等保合规审计,审计方会把所有服务器的配置全部扫一遍,核对安全基线要求:比如禁止root账号远程SSH登录、用户密码90天过期、禁止空密码账号、重要操作日志保留6个月以上这些硬性规则。之前很多团队明明已经用Chef实现了基线统一配置,结果审计的时候扫出来20多台节点漂移,直接导致合规评级降档,后续还要花几倍的时间去补整改材料。
2.2 分布式集群稳定性保障场景
跑微服务、消息队列、分布式存储这类集群的时候,所有节点的系统内核参数、文件打开数限制、资源配额规则必须完全一致,只要有一两个节点的ulimit参数不小心被人改成了默认1024,其他节点都是配置的65535,等到业务流量峰值的时候,这几个漂移的节点就会率先报too many open files错误,出现局部请求超时,这类偶发故障排查起来要花好几个小时,很多团队踩过好几次这类坑之后才意识到配置漂移的危害。
2.3 高危漏洞批量修复场景
遇到log4j2、openssl这类通用高危漏洞的时候,要求所有节点必须在4小时之内完成修复,要是有不少节点出现漂移,原本已经通过Chef批量升级好的版本,被后面的手动操作或者其他脚本覆盖成了有漏洞的旧版本,这些没被覆盖到的节点就会成为黑客的重点扫描目标,一旦被入侵损失不可估量。
三、Chef节点配置漂移修复的完整落地流程
本示例采用技术栈:Chef Infra 18.x,所有代码可直接在CentOS 7/8生产环境复用。我们不需要改造现有Chef的整体架构,只需要三步就能把漂移问题彻底解决。
3.1 第一步:编写全量基线校验修复Recipe
我们把所有不能漂移的核心配置全部写到Chef的Recipe里,Chef在运行的时候会自动校验节点当前状态和预期是否一致,不一致就直接修复,所有逻辑都自带幂等性,跑多少次都不会出问题。
# 文件名:cookbooks/security_baseline/recipes/default.rb
# 配置sshd服务,禁止root远程登录,保证配置不漂移
service 'sshd' do
action [:enable, :start] # 保证sshd服务开机自启且运行状态正常
end
# 替换sshd配置文件里的PermitRootLogin参数为no,不管之前被改成什么值都覆盖
ruby_block "fix_sshd_root_login" do
block do
file = Chef::Util::FileEdit.new("/etc/ssh/sshd_config")
file.search_file_replace_line(/^PermitRootLogin/, "PermitRootLogin no")
file.write_file
end
notifies :restart, 'service[sshd]', :immediately # 修改完立即重启sshd生效
end
# 锁定Nginx版本为1.22.1,禁止自动升级,漂移了就自动回退到指定版本
yum_package 'nginx' do
version '1:1.22.1-1.el7.ngx.x86_64'
action :install
end
# 配置用户密码过期策略为90天,漂移了就自动修正
ruby_block "fix_password_expire" do
block do
file = Chef::Util::FileEdit.new("/etc/login.defs")
file.search_file_replace_line(/^PASS_MAX_DAYS/, "PASS_MAX_DAYS 90")
file.write_file
end
end
3.2 第二步:配置合理的自动收敛周期
我们不需要节点每秒都去拉取Chef服务端的规则做校验,那样会给Chef服务端造成很大的压力,只要设置每3小时自动跑一次chef-client客户端,就完全能把漂移的窗口控制在3小时以内,我们直接配置定时任务实现即可。
# 编辑crontab配置,添加定时任务,设置在业务低峰时段附近运行,错开峰值
crontab -e
# 每3小时的第15分钟执行一次chef-client,同时把运行日志输出到指定文件方便回溯
15 */3 * * * /usr/bin/chef-client > /var/log/chef-client-auto-run.log 2>&1
3.3 第三步:配置漂移事件主动告警
很多时候我们不希望配置被悄悄修复之后没人知道,要能及时收到漂移发生的通知,知道哪台机器的哪个配置出现了异常改动,我们可以通过Chef的自定义Handler实现漂移事件主动推送,直接把告警信息发到企业微信或者邮件组。
# 文件名:cookbooks/alert_handler/files/default/drift_alert.rb
require 'net/http'
require 'json'
class DriftAlertHandler < Chef::Handler
def report
# 过滤没有发生资源变更的正常运行场景,只在漂移修复的时候发告警
if run_status.updated_resources.length > 0
node_ip = node['ipaddress']
drift_details = run_status.updated_resources.map{|r| r.to_s}.join(",")
# 推送到企业微信机器人的webhook地址,通知运维同学
webhook_url = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的机器人key"
uri = URI.parse(webhook_url)
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
request = Net::HTTP::Post.new(uri.request_uri,
{'Content-Type' => 'application/json'})
request.body = {
msgtype: "text",
text: {
content: "【Chef配置漂移告警】节点IP:#{node_ip},已自动修复的漂移配置:#{drift_details}"
}
}.to_json
http.request(request)
end
end
end
# 把Handler注册到Chef的客户端配置里,每次运行完chef-client自动执行
Chef::Config[:report_handlers] << DriftAlertHandler.new
四、这套漂移修复方案的优缺点梳理
4.1 方案核心优势
首先是学习成本极低,所有用Chef做配置管理的团队几乎零改造就能直接落地,不需要引入Ansible、SaltStack之类的新工具,也不用重构现有配置管理体系,整个过程最多两天就能完成全量节点的上线。其次是收敛效果非常稳定,Chef的原生资源校验能力经过了十几年的生产环境验证,不会出现漏判误判的情况,所有漂移的配置都能被精准识别并自动修复,完全不用运维手动逐台巡检。最后是全程留痕可追溯,所有漂移的修复记录都会存在节点本地日志和Chef服务端的节点运行历史里,后续排查审计问题的时候可以直接导出,完全满足等保的变更留痕要求。
4.2 方案存在的局限性
这套方案也不是万能的,如果把自动收敛的周期设置得太短,比如小于30分钟,当你管理的节点规模超过1000台的时候,会给Chef服务端带来非常大的并发请求压力,容易出现服务端响应超时的问题。另外如果没有做例外机制,业务方临时手动修改的灰度测试配置,会被Chef自动覆盖掉,导致测试失败。还有针对一些内核模块加载、硬件驱动这类非常特殊的配置,Chef原生资源的校验能力比较弱,需要自己写额外的自定义校验逻辑才能实现漂移修复。
五、落地过程中必须注意的关键事项
首先必须提前配置临时排除机制,给所有需要临时放开自动收敛的节点,在Chef的节点属性里加一个叫做skip_converge的标记,当这个标记值为true的时候,节点就会跳过自动修复的逻辑,等业务临时变更完成之后再把标记改回来,避免误覆盖业务的临时配置。其次必须先灰度再全量,先选10%的非核心业务节点跑一周,确认所有漂移修复逻辑都符合预期,不会误覆盖业务正常运行的配置之后,再逐步把覆盖范围扩大到核心集群节点,不要一上来就全量推送出线上故障。还要做好漂移分级管控,核心安全类的配置比如SSH规则、密码策略必须强制自动修复,普通的业务配置比如日志切割规则、临时的资源配额配置,可以先只做告警不自动修复,确认运维人员审核之后再手动执行修复,避免影响业务正常运行。最后要定期做配置基线的版本同步更新,不要业务的配置需求变了之后,Chef里的基线规则还停留在半年前的旧版本,不然就会出现大量误判为漂移的情况,把业务正常的新配置给回退回去。
六、落地效果总结
我们团队200多台业务节点在落地这套Chef配置漂移修复方案之前,每个季度的等保审计平均能查出30多例配置不一致的漂移问题,每次整改都要投入2个运维花整整一周的时间逐台核对修复,上线这套方案之后,连续6个季度的合规审计漂移案例都控制在2例以内,之前偶尔出现的分布式集群因为节点配置不一致导致的偶发请求超时故障再也没有复现过,整体运维在配置一致性巡检上投入的工作量直接下降了90%,既满足了合规要求,又实实在在降低了线上故障的发生概率。很多运维之前觉得配置漂移是小问题不值得花时间专门处理,实际上只要花一两天的时间把这套逻辑跑通,后续能帮你省掉大量的救火时间,也能避免很多本来完全可以预防的故障和合规风险。
评论
围绕“Chef节点配置漂移修复:解决配置不一致问题,保障基础设施状态的合规性”参与讨论