一、从一次慢到崩溃的扫描说起
做网络安全测试的人,十有八九都用过Metasploit,它就像安全测试的“瑞士军刀”,能做漏洞扫描、漏洞利用、信息收集一堆事。但很多人用着用着会碰到一个糟心的问题:本来想扫个1000台主机的网段,结果扫了大半天没动静,要么是扫到一半程序卡得动不了,要么是扫完出来的结果乱得没法看。
我之前帮一个朋友排查过一个典型问题:他用Metasploit的一个辅助模块扫一个200台主机的内网网段,本来预估10分钟能完,结果等了1个小时还没出结果,最后把Metasploit的服务进程都卡崩了。最开始他以为是网络慢,换了更快的网络还是一样,最后才发现是辅助模块本身的性能瓶颈。
这一章就从这个真实的问题出发,一步步拆解性能瓶颈怎么找,又怎么优化。
二、怎么找Metasploit辅助模块的性能瓶颈
找瓶颈就像找水管漏水点,得一段一段查,不能上来就瞎改代码。Metasploit的辅助模块性能问题,一般出在四个地方:数据处理、并发控制、网络操作、资源占用。
2.1 先查最直观的:资源占用
很多人卡了就直接关程序,其实先看资源占用最省事。Metasploit是基于Ruby写的,它的核心服务是msfconsole或者后台的msfrpcd,我们可以用系统自带的命令看它占了多少CPU、内存。
比如在Linux系统上,先找到Metasploit进程的PID,然后用top或者ps命令看资源:
# 先找Metasploit进程的PID,一般msfconsole的进程名会带ruby或者msfconsole
ps aux | grep msfconsole
# 假设查到PID是1234,然后实时看它的CPU和内存占用
top -p 1234
如果看到CPU占了90%以上,那大概率是代码里有死循环或者重复计算的地方;如果内存占了几百MB甚至上GB,那就是内存泄漏了,比如没及时释放扫描出来的临时数据。
我之前碰到的那个朋友的问题,当时查出来内存占了1.2GB,CPU占了95%,说明既有内存问题,又有计算问题。
2.2 再查最容易忽略的:并发控制
Metasploit的辅助模块很多是靠多线程跑的,线程开得太少会慢,开得太多也会出问题。比如有的模块默认开1000个线程扫网段,结果网络带宽被占满,每个线程的请求都超时,反而比开100个线程还慢。
怎么看并发数?可以用pstree命令看进程下的线程数:
# 还是假设PID是1234,看这个进程下有多少个线程
pstree -p 1234 | wc -l
如果线程数超过了当前主机的CPU核心数的10倍,那大概率是并发开太多了。比如4核的主机,开40个线程以内是合理的,开400个就会导致线程切换太频繁,系统调度不过来。
我朋友用的那个模块,当时线程数达到了800多,他的电脑是4核的,相当于每个CPU核心要同时处理200个线程,系统光切换线程就占了大部分CPU时间,根本没时间干活。
2.3 最后查最核心的:代码逻辑
如果资源和并发都没问题,那就要看代码本身了。Metasploit的辅助模块代码一般存在/usr/share/metasploit-framework/modules/auxiliary/目录下,每个模块是一个Ruby文件。
比如一个扫端口的辅助模块,核心逻辑可能是循环每个IP、每个端口发请求,要是这个循环写得有问题,比如每个请求都要重新初始化一个网络连接,那速度肯定慢。
举个有问题的代码示例(技术栈:Ruby):
# 错误的端口扫描代码片段,每次扫一个端口都重新初始化连接
def scan_port(ip, port)
# 每次都新建一个Socket对象,非常耗时
socket = Socket.new(Socket::AF_INET, Socket::SOCK_STREAM, 0)
# 设置连接超时时间
socket.setsockopt(Socket::SOL_SOCKET, Socket::SO_RCVTIMEO, [1, 0].pack('l_2'))
begin
# 发起连接
socket.connect(Socket.sockaddr_in(port, ip))
puts "端口 #{port} 开放"
rescue
# 连接失败什么都不做
ensure
# 关闭连接
socket.close
end
end
# 扫描网段的主逻辑,循环每个IP和端口
def scan_network(ip_list, port_list)
ip_list.each do |ip|
port_list.each do |port|
# 每个端口都调用一次scan_port,每次都新建连接
scan_port(ip, port)
end
end
end
这段代码的问题非常明显:扫一个端口就新建一个连接,TCP连接的建立(三次握手)和关闭(四次挥手)都很耗时,扫1000个端口就要建1000次连接,速度肯定慢。
三、Metasploit辅助模块的架构优化思路
找到瓶颈之后,就可以针对性优化了。优化的核心思路是:减少重复操作、合理控制并发、及时释放资源。
3.1 优化数据处理:减少重复计算
比如上面的端口扫描代码,每次新建连接就是重复操作,我们可以优化成每个IP只建一个连接,然后复用这个连接扫这个IP的所有端口?不对,TCP连接是端口绑定的,不能复用,那可以优化成批量处理,比如把同一个IP的端口分成组,每个组建一个连接?或者用UDP扫描?不对,TCP端口扫描的话,另一个优化点是减少不必要的逻辑,比如不要在循环里做字符串拼接、不要重复查询配置。
比如一个优化后的代码示例(技术栈:Ruby):
# 优化后的端口扫描代码片段,减少重复初始化
def scan_port(ip, port)
# 把Socket的通用配置提取到方法外,只初始化一次
# 这里先假设通用配置已经在模块初始化的时候做好了
begin
# 发起连接,其他逻辑不变
socket = Socket.new(Socket::AF_INET, Socket::SOCK_STREAM, 0)
socket.setsockopt(Socket::SOL_SOCKET, Socket::SO_RCVTIMEO, [1, 0].pack('l_2'))
socket.connect(Socket.sockaddr_in(port, ip))
puts "端口 #{port} 开放"
rescue
# 连接失败什么都不做
ensure
socket.close
end
end
# 优化后的主逻辑,批量处理IP,减少不必要的循环
def scan_network(ip_list, port_list)
# 先把所有的IP和端口组合做一次去重,避免重复扫同一个IP的同一个端口
target_list = ip_list.product(port_list).uniq
# 然后用多线程批量处理,每个线程处理一个目标
threads = []
# 控制并发数,比如最多开50个线程
max_threads = 50
target_list.each_slice(max_threads) do |targets|
targets.each do |ip, port|
threads << Thread.new { scan_port(ip, port) }
end
# 等待当前批次的线程全部完成,再处理下一批
threads.each(&:join)
threads.clear
end
end
这段代码的优化点有两个:一是对目标做了去重,避免重复扫描;二是控制了并发数,分批次处理,不会一下子开太多线程。
3.2 优化并发控制:分批次处理
上面的代码已经提到了分批次处理,这是控制并发的核心方法。比如我们要扫1000个目标,不要一下子开1000个线程,而是分成20批,每批50个线程,每批处理完再处理下一批,这样既保证了速度,又不会占用太多资源。
分批次处理还有一个好处:可以及时回收资源。每批处理完,线程就会退出,内存和CPU资源就会被释放,不会出现内存越占越多的情况。
3.3 优化资源占用:及时释放内存
Metasploit的辅助模块经常会把扫描结果存在内存里,比如扫到一个漏洞,就把漏洞信息、IP、端口都存在一个数组里,如果扫的目标多,这个数组会越来越大,内存就会被占满。
怎么解决?可以优化成批量写文件,比如每扫完10个目标,就把结果写到本地文件里,然后把内存里的结果清空。比如:
# 优化后的结果处理代码片段,批量写文件
def process_result(result, file_path)
# 把结果追加到文件里
File.open(file_path, 'a') do |f|
f.puts result.to_json
end
# 清空内存里的结果,避免内存泄漏
result.clear
end
# 扫描主逻辑,每扫完10个目标就写一次文件
def scan_network(ip_list, port_list, result_file)
target_list = ip_list.product(port_list).uniq
max_threads = 50
# 用来临时存放结果的数组
temp_results = []
target_list.each_slice(max_threads) do |targets|
targets.each do |ip, port|
Thread.new do
# 扫描端口,得到结果
result = scan_port(ip, port)
if result
temp_results << result
# 如果临时结果数组的长度达到10,就写文件并清空
if temp_results.length >= 10
process_result(temp_results, result_file)
end
end
end
end
# 等待当前批次的线程全部完成
Thread.list.each { |t| t.join if t != Thread.current }
end
# 最后把剩下的结果写文件
if !temp_results.empty?
process_result(temp_results, result_file)
end
end
这段代码的优化点是:用一个临时数组存放结果,每满10个就写文件并清空,这样内存里最多只会存10个结果,不会出现内存泄漏的情况。
四、实际应用场景、优缺点和注意事项
4.1 应用场景
这些优化思路适合所有Metasploit辅助模块的性能优化,比如:
- 大规模网段扫描:比如扫一个C段(256台主机)的端口、漏洞;
- 批量漏洞验证:比如验证某一个漏洞在几百台主机上是否存在;
- 长时间运行的扫描任务:比如需要连续扫描几天的任务,优化后不会中途卡崩。
4.2 优化思路的优缺点
优点:
- 简单易实现:不需要改Metasploit的核心架构,只需要优化辅助模块的代码;
- 效果明显:一般优化后,扫描速度能提升3-10倍,不会出现卡崩的情况;
- 兼容性好:优化后的模块还是能在Metasploit框架里正常运行,不需要额外的环境。
缺点:
- 分批次处理会稍微增加总时间:比如分20批处理,每批之间要等待,总时间会比一下子开1000个线程稍微长一点,但不会卡,反而更快;
- 批量写文件会增加磁盘IO:如果磁盘速度慢,可能会稍微影响速度,但比内存泄漏卡崩要好;
- 并发数控制需要根据实际情况调整:不同的主机、网络环境,适合的并发数不一样,需要自己测试调整。
4.3 注意事项
- 优化前一定要先找瓶颈:不要上来就瞎改代码,先看资源占用、并发数,确定瓶颈在哪里再优化;
- 测试的时候要从小规模开始:比如先扫10台主机,测试优化后的效果,没问题再扫大规模的;
- 注意网络限制:有的网络会限制并发连接数,比如超过100个连接就会被封IP,所以并发数不要开得太大;
- 及时备份代码:优化前先把原来的模块代码备份,万一优化坏了还能改回去。
五、文章总结
Metasploit辅助模块的性能瓶颈,本质上就是“资源用得不对”——要么是重复操作浪费资源,要么是并发太多占满资源,要么是没及时释放资源。找瓶颈的方法也很简单,先看资源,再看并发,最后看代码逻辑。
优化的核心思路就是“合理利用资源”:减少重复操作、控制并发数、及时释放内存。这些优化思路不需要复杂的技术,只要改改代码逻辑就能实现,效果也很明显。
最后要提醒大家,安全测试工具的性能优化是一个持续的过程,没有最好的优化,只有最适合当前场景的优化。如果碰到性能问题,多测多改,总能找到合适的优化方案。
评论
围绕“Metasploit辅助模块性能瓶颈的排查与架构优化思路”参与讨论