YOLO模型现在算得上是计算机视觉圈子里的大明星,不管是做人脸检测、安全帽识别还是废品分拣,很多人第一时间就会想到它。不过真正把它跑起来,并且跑得快,却是一门挺讲究的活。很多朋友训练阶段一帆风顺,一到部署就发现,各种报错铺天盖地:驱动不匹配、依赖打架、模型速度慢得像乌龟爬。这其实不是你代码不行,而是没有一套系统的适配和调优思路。这篇文章就用大白话和能直接照着抄的Python代码,把这一步一步捋清楚。

一、先说说啥时候需要这套方案

在很多实际项目里,YOLO不是跑在一台配置豪华的服务器上。有的要嵌到路边的小盒子里,有的要跑在工业现场的工控机上,还有的干脆要在没有显卡的旧电脑上干活。不同的场景对速度和精度的要求完全不一样。比如车间里的质检,漏检一个瓶子可能就要出大事,而辅助路况的行人检测,慢上几十毫秒可能都让车子反应不过来。所以在动手部署前,先想清楚自己到底要什么:要实时,还是要准确,是要省内存,还是要省电。这个决定会影响后面所有选择和配置。

还有一类场景是云端推理服务,比如做一个在线图片检测网站,用户上传一张图,你得在几秒钟内返回结果。这种情况下,你可能要考虑接口并发、批量处理、显存占用,而且模型文件不能太大,否则每次启动都要等半天。总之,把应用场景先想明白,后面的优化才能有的放矢。

二、打地基:环境适配

所谓部署,就是在对方的机器上把模型跑起来,对方机器什么配置,你说了不算。所以第一步是搞清楚软硬件环境,然后按需适配。

2.1 显卡驱动和CUDA版本要配对

很多朋友一上来就装最新版CUDA,结果跟老驱动闹别扭。其实驱动和CUDA的关系,就像手机系统和APP版本,APP太新系统太老,肯定是带不动的。你可以先用一个小脚本看一下当前机器的驱动和显卡情况,这里用的是Python技术栈。

示例(Python技术栈):

# 导入NVIDIA管理库,用来查驱动和CUDA信息
import pynvml

# 初始化NVML,相当于先跟显卡打个招呼
pynvml.nvmlInit()

# 获取当前驱动版本,比如"470.82.01"
driver_version = pynvml.nvmlSystemGetDriverVersion()
print("驱动版本:", driver_version)

# 获取显卡数量
device_count = pynvml.nvmlDeviceGetCount()
for i in range(device_count):
    handle = pynvml.nvmlDeviceGetHandleByIndex(i)
    gpu_name = pynvml.nvmlDeviceGetName(handle)  # 显卡型号
    memory_info = pynvml.nvmlDeviceGetMemoryInfo(handle)
    total_memory_gb = memory_info.total / 1024**3  # 把字节换算成GB
    print(f"GPU {i}: {gpu_name},显存:{total_memory_gb:.2f} GB")

# 用完记得关闭,免得占资源
pynvml.nvmlShutdown()

如果你跑完发现驱动版本太老,那就别硬装最新CUDA,去查一查对应关系,找个匹配的版本。实在不想折腾,就用PyTorch官方推荐的组合:CUDA 11.8 + PyTorch 2.0,这个组合在N卡上比较稳,好多YOLO项目都能直接跑。

2.2 Python环境别一把梭

不同项目用的依赖版本可能互相看不上,A项目要的numpy版本会把B项目顶掉,所以给YOLO单独建一个虚拟环境是必须的。用conda或者Python自带的venv都行,下面是venv的折腾方法,注意这些是命令,不是刚才说的Python示例。

# 创建Python 3.9虚拟环境,专门用来跑YOLO
python3 -m venv yolo_env

# 激活这个环境(Linux/macOS写法)
source yolo_env/bin/activate

# Windows下的激活命令不一样
# yolo_env\Scripts\activate

激活之后,你会看到命令行前面出现了(yolo_env)的字样,这时候再装东西,就不会污染全局环境了。

2.3 安装PyTorch时挑对版本

PyTorch是YOLO常用的深度学习框架,安装的时候千万别一把梭直接装默认版。先去看官网,找到对应CUDA版本的安装命令。这里以CUDA 11.8为例,安装命令长这样。

# 用pip安装PyTorch 2.0.1,并且指定CUDA 11.8的加速包
pip install torch==2.0.1 torchvision==0.15.1 --index-url https://download.pytorch.org/whl/cu118

装完之后,可以用一行Python确认torch能不能正确用上显卡。

示例(Python技术栈):

import torch

# 查看torch版本
print("PyTorch版本:", torch.__version__)

# 查看CUDA是否可用,这个会返回True或False
print("CUDA是否可用:", torch.cuda.is_available())

# 如果能用,输出显卡名称
if torch.cuda.is_available():
    print("显卡名称:", torch.cuda.get_device_name(0))

如果这里显示的是False,那说明安装的版本有问题,或者驱动压根不认卡。别急着往下走,先把这一步调通。

2.4 权重文件不是拿来就能跑

YOLO官方训练出来的是.pt文件,但它不一定能被直接丢到生产环境。不同的推理框架想要的格式不一样,比如ONNX、TensorRT、TorchScript。这里牵涉到一个重要的点:不要以为拿到.pt就万事大吉,先看看模型的输入输出长什么样。用一个Onnx模型来举例,我们可以用Python很快看清它的输入输出结构。

示例(Python技术栈):

import onnxruntime as ort

# 加载ONNX格式的YOLO模型
session = ort.InferenceSession('yolov5s.onnx')

# 输入信息
for input in session.get_inputs():
    print(f"输入名称:{input.name},形状:{input.shape},类型:{input.type}")

# 输出信息
for output in session.get_outputs():
    print(f"输出名称:{output.name},形状:{output.shape},类型:{output.type}")

看完这些,你才知道自己该喂什么尺寸的图片,该从哪拿结果,部署代码写起来才不抓瞎。

三、重头戏:性能调优

环境搭好之后,模型能跑了,但跑得慢、占显存大,还是不行。接下来就是性能调优的重头戏,这里面有很多小技巧,哪怕不动模型结构,只是改改用法,也能让速度明显提升。

3.1 批量推理,一车拉多张图

很多人一张一张地送模型,就像用小推车一次运一个箱子,其实完全可以把好几个箱子放一块儿推过去。批量推理就是把这个"推车"变大,让模型一次性处理多张图片。GPU做并行计算非常擅长干这种活,吃过一次饭,顺便把碗都刷了。

示例(Python技术栈):

import cv2
from ultralytics import YOLO  # 这里以YOLOv8官方库为例

# 加载预训练模型,用nano版本来示范
model = YOLO('yolov8n.pt')

# 假装待检测的图片列表
image_paths = ['a.jpg', 'b.jpg', 'c.jpg', 'd.jpg']
images = []
for path in image_paths:
    img = cv2.imread(path)  # 读取图片
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # BGR转RGB,模型才能看得懂
    images.append(img)

# 一次性推理4张图
results = model.predict(images, batch=4)
print(f"处理了 {len(results)} 张图片")

注意,不要无限扩大batch,显存是会爆的。不同显卡能承受的最大batch不一样,自己试试,从2、4、8这样翻,直到显存快要满,就停在上一档。

3.2 输入尺寸和半精度,省着点用

输入图片越大,模型看得越细,但也越慢。YOLO默认会用640×640的尺寸,如果你场景里目标不太小,试试416或者甚至384,速度能提一截。另外还有个杀手锏:把模型从FP32(全精度)转成FP16(半精度),显存占用直接砍半,推理速度也更快。很多N卡都支持这个操作,代码里加一行就搞定。

示例(Python技术栈):

from ultralytics import YOLO

# 加载模型
model = YOLO('yolov8n.pt')

# 开启半精度,显存和速度都有改善
model.half()

# 推理时也指定half=True
results = model.predict('bus.jpg', imgsz=416, half=True)

# 打印检测到的目标框信息
for box in results[0].boxes:
    print(box.xyxy.tolist())

这里imgsz=416把输入尺寸降下来了,half=True则是半精度,两个一起用,效果更明显。但要注意,有些老显卡对半精度支持不好,跑出来结果不对劲,这时候就别强行开。

3.3 智能选择设备,CPU也不是不能跑

很多调试机没有独立显卡,CPU又跑得很慢。虽然不太推荐用CPU做实时检测,但小模型在CPU上也能凑合用。我们在代码里可以写一个自动选择设备的逻辑,有显卡就用显卡,没有就退回到CPU。

示例(Python技术栈):

import torch

# 自动选择设备:有N卡就用cuda,没有就用cpu
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
print(f"当前设备:{device}")

# 在推理时把它传给YOLO模型
from ultralytics import YOLO
model = YOLO('yolov8n.pt')
results = model.predict('bus.jpg', device=str(device))

很多部署脚本都是这个套路,因为用户的机器真的可能没有显卡,代码不能一上来就硬要求cuda。

3.4 引入TensorRT,让显卡跑得更疯狂

如果追求极限速度,NVIDIA家的TensorRT是绕不开的。它会把模型做深度压缩和算子融合,好比把散装零件组装成整机,跑起来更顺溜。TensorRT的转换流程一般是这样:

# 用trtexec把ONNX模型转成TensorRT的engine文件,开启FP16
trtexec --onnx=yolov5s.onnx --saveEngine=yolov5s.engine --fp16

转换完之后,Python侧就可以加载这个引擎做推理。这里依然用Python技术栈来演示。

示例(Python技术栈):

import tensorrt as trt

# 创建TensorRT日志器,级别设为INFO,方便看运行信息
logger = trt.Logger(trt.Logger.INFO)

# 建立运行时实例
runtime = trt.Runtime(logger)

# 读取刚才生成的engine文件
with open('yolov5s.engine', 'rb') as f:
    engine = runtime.deserialize_cuda_engine(f.read())

print("TensorRT引擎加载成功,可以起飞了")

TensorRT的安装和编译有点折腾,但如果你的项目对延迟极其敏感,比如自动驾驶或者工业实时抓拍,那这笔投入完全值得。

3.5 用ONNX Runtime控制线程,别把CPU全部占满

在CPU上做推理时,ONNX Runtime默认可能会把所有核心都吃满,导致系统卡顿。在服务端部署时,我们往往需要给其他程序留点活路。这时可以手动设置线程数,限制它的野心。

示例(Python技术栈):

import onnxruntime as ort

# 设置线程相关的选项
sess_options = ort.SessionOptions()
sess_options.intra_op_num_threads = 4   # 单算子内部并行线程数
sess_options.inter_op_num_threads = 1   # 多算子之间并行线程数

# 加载ONNX模型,传入这个会话选项
session = ort.InferenceSession('yolov5s.onnx', sess_options)
print("ONNX推理会话创建完成,线程数已限制")

像这样设成4个线程,既不会让CPU累死,也能保证推理速度不至于太慢。具体设多少,要看服务器是几核的,一般设成核数的一半就行。

四、技术优缺点和注意事项

4.1 技术优缺点

YOLO系列模型的优点很突出:识别速度快,训练和部署生态非常完善,网上教程多,遇到问题很容易找到解决方案。而且它从v5到v8,每个版本都有不同大小的模型,从几十兆到几百兆都有,丰俭由人。缺点就是它对环境比较挑剔,尤其是GPU相关的配置,不同版本的CUDA、cuDNN、PyTorch排列组合起来,很容易让人栽跟头。而且模型越大,调优越难,动不动就爆显存,需要花不少时间在工程细节上。

4.2 注意事项

第一,别把训练环境直接搬去生产。训练时用的显卡和生产时用的显卡可能不一样,训练时的batch_size和输入尺寸不一定适合生产,生产环境要精简模型输入,关掉梯度计算,甚至把模型导出成ONNX再部署。第二,小心Python小版本差异,比如Python 3.8和3.10在某些库上的表现就不一样,最好在部署机器上用和开发机器一致的Python版本。第三,显存不够的时候,优先考虑降低batch_size、缩小输入尺寸,或者换更小的模型文件,比如从YOLOv8l换成YOLOv8n。第四,全程记录日志,把每次推理的耗时、显存占用、检测结果都打印出来,这样出了问题才能看出是哪个环节变慢了。

五、总结

YOLO模型部署这件事,说难也难,说简单也简单。难在环境组合千变万化,简单在只要掌握几个核心方法,就能搞定绝大多数场景。先想清楚应用场景,再把驱动、CUDA、Python环境一对一对弄齐,然后根据硬件情况选择合适的推理后端,最后批量推理、半精度、输入尺寸这些优化手段一起上,你的YOLO很快就能跑得又快又稳。遇到报错不要慌,先把错误信息完整读一遍,再上网搜,十有八九有人跟你踩过同一个坑。把这套流程多走几遍,以后部署任何一个新项目,你都能心里有底。