搞目标检测这两年我被问得最多的一个问题不是“什么是anchor”而是“学长项目/毕设到底该学RCNN还是YOLO”——每年都有新人卡在这个岔路口。今天这篇就把这两条技术路线从头到尾捋一遍RCNN系列怎么一步步从“慢吞吞的候选区域CNN分类”进化到Faster RCNN的端到端检测YOLO系列又是怎么从v1一路迭代到v8/v11把“单次回归”这件事做到极致。还会把训练自己数据集、标注工具选择、AMD显卡跑YOLO、mmdetection配置、小目标检测、红外小目标评价参数这些实操内容一并讲清楚。文章适合三类人看一是正在做目标检测课设/毕设的学生二是准备把检测技术落地到实际业务的工程师三是在“到底该追新版本还是先用老版本”之间反复横跳的纠结症患者。我的建议是不管最终选哪条线先把原理吃透再谈工程效率。1. 先理清目标检测到底在解一道什么题1.1 分类、定位、检测的区别很多新手一上来就陷入算法对比结果连“检测任务本身的输出是什么”都没想明白。图像分类的输出是一个类别标签比如“这是猫”目标检测的输出则复杂得多——它要回答“图像里有哪些目标每个目标在什么位置”。所以检测模型的输出是一组边界框bounding box每个框带一个类别和一个置信度分数。在工程里这个框通常用两种方式表示一种是中心点宽高即 (x, y, w, h)另一种是左上角右下角即 (x1, y1, x2, y2)。不同框架的标注格式不一样YOLO系列用归一化的 (x_center, y_center, width, height)COCO数据集用 (x, y, width, height) 的像素坐标。这个差异看似不起眼但我在实际项目中见过太多次因为坐标格式没转对导致的训练崩溃——模型训练起来loss一直不降最后发现是标注读错了。检测任务还有一个容易混淆的兄弟叫实例分割它不仅要框出目标还要把每个目标的所有像素都抠出来。如果只做检测模型只需要回归框的四个值如果做分割就要在框的基础上再追加一个像素级的掩膜分支。YOLOv8同时支持检测和分割就是这种多任务设计的典型。1.2 绕不开的四个概念IoU、NMS、Anchor、mAP这四个概念是理解RCNN和YOLO所有演进的前提必须先把它们钉死在脑子里。**IoU交并比**是衡量两个框重叠程度的指标。假设预测框是A真实框是BIoU就是A和B交集面积除以并集面积取值0到1越接近1说明预测框越准。很多损失函数直接拿IoU来构造比如后面要讲的CIoU Loss。在推理阶段IoU也用来判断“这个预测框算不算定位正确”——比如mAP0.5的0.5就是指IoU阈值0.5只有预测框和真实框的IoU超过0.5才被算作命中。**NMS非极大值抑制**解决的是“一个目标出多个框”的问题。模型在推理时会对同一个目标输出很多高度重叠的候选框NMS的做法是先按置信度分数从高到低排序选分数最高的框保留然后删除所有与它IoU超过阈值的框重复这个过程直到处理完所有候选。这个后处理是早期YOLO和Faster RCNN都离不开的环节直到YOLOv10提出NMS-free方法才被逐渐替代。**Anchor锚框/先验框**是检测模型里最容易被忽略但最重要的设计。简单理解Anchor就是预先定义好的一组不同大小、不同长宽比的参考框。模型不是直接预测目标的绝对坐标而是预测“目标相对某个Anchor的偏移量”。这个机制最早被Faster RCNN系统化引入YOLOv2开始采用聚类方式生成更贴合数据分布的Anchor尺寸而YOLOv8则转向了anchor-free直接预测目标中心点到四条边的距离——这是一个相当关键的思路变化。**mAP平均精度均值**是目标检测最常用的评价指标。先按置信度把所有预测框排序逐个计算精确率和召回率画出PR曲线曲线下的面积就是AP。把所有类别的AP取平均就是mAP。COCO比赛标准是mAP0.5:0.95——IoU从0.5到0.95步长0.05共10个阈值分别算AP再求平均这个指标对小目标的定位精度更敏感。很多人只在报告里写mAP0.5这其实是取了松的阈值数字好看但说服力不足。2. RCNN系两阶段检测的思路是怎么演进的2.1 RCNN先用候选区域再用CNN鉴别2014年的RCNNRegions with CNN features是深度学习目标检测的里程碑。它的核心思路很朴素先用传统图像分割算法选择性搜索在整图上生成约2000个候选区域然后把每个候选区域缩放成固定尺寸分别送入CNN当时是AlexNet提取特征最后用SVM分类器判断这个区域是什么类别再用一个回归器修正边界框位置。这套“两阶段”思路在当时效果惊艳但缺点也极其明显每个候选区域都要单独过一遍卷积网络2000个区域就要做2000次前向计算一张图在GPU上也要40多秒训练更是要分三步走——先预训练CNN、再微调网络、最后训练SVM和回归器流程繁琐不说每个模块还互相割裂。但RCNN有一个贡献至今被低估它证明了CNN不仅能做分类还能通过“候选区域回归”的方式完成定位。后来的所有两阶段算法本质上都是在这套思路上做优化。2.2 Fast RCNN把卷积变成全图共享Fast RCNN的核心改进是“只对整图做一次卷积”。具体做法是整张图输入CNN得到一张特征图候选区域不再送到CNN里而是通过坐标映射关系投影到特征图的对应区域然后用一个ROI Pooling层把这些不同大小的区域池化成固定尺寸比如7×7再送入全连接层。这个优化把速度提升到了单张图0.3秒左右比RCNN快了近25倍。更重要的是它把分类和框回归放进了同一个网络里做联合训练用多任务损失函数同时优化两个目标不再需要SVM和独立的回归器。Fast RCNN的瓶颈变成了候选区域生成——选择性搜索依然是CPU上的传统算法每次大约耗时2秒比网络本身还慢。这直接催生了Faster RCNN的关键创新。2.3 Faster RCNN让网络自己学会提候选Faster RCNN在2016年提出了RPNRegion Proposal Network区域提议网络把候选区域生成也变成了神经网络的一部分。RPN的做法是在共享特征图上用一个3×3的滑动窗口扫描每个位置生成k个锚框Anchor原文是3种尺度×3种长宽比k9网络为每个Anchor输出两个东西一个是“是不是前景”的分数另一个是锚框坐标的回归偏移量。因为RPN和后面的检测头共享卷积特征整个Faster RCNN可以实现真正的端到端训练速度提升到单张0.2秒左右精度也大幅提升。Faster RCNN确立了两阶段检测的标准范式后续的Mask RCNN加分割分支、Cascade RCNN级联多阶段回归都是在它基础上扩展的。2.4 实操用mmdetection快速训练Faster RCNN如果你想在实际项目中使用Faster RCNN最推荐的方式是用OpenMMLab的mmdetection。它把数据加载、模型定义、训练流程、评测指标全打包好了不用自己造轮子。但mmdetection的安装有个著名的坑mmcv、PyTorch、CUDA三者的版本必须严格对应。最简单的办法是直接拉官方提供的Docker镜像或者按下面这套流程装# 创建虚拟环境 conda create -n mmdet python3.8 conda activate mmdet # 安装pytorch注意版本要和CUDA匹配 pip install torch1.13.1 torchvision0.14.1 # 安装mmcv这里要指定cuda和torch版本 pip install mmcv2.0.0 -f https://download.openmmlab.com/mmcv/dist/cu117/torch1.13/index.html # 拉取mmdetection代码并安装 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection pip install -v -e .数据准备上mmdetection默认使用COCO格式。你需要把数据组织成这样的目录结构data/custom/ ├── annotations/ │ └── instances_train.json ├── images/ │ └── train/ └── labels/然后修改配置文件重点改三个地方data_root指向你的数据路径num_classes改成你的类别数data.train.img_prefix改成图片所在目录。模型结构部分可以直接复用faster_rcnn_r50_fpn_1x_coco.py这个配置只改num_classesmodel dict( roi_headdict( bbox_headdict( typeShared2FCBBoxHead, num_classes3, # 改成你的类别数 ) ) )训练命令很简单python tools/train.py configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py实测下来Faster RCNN用ResNet50骨干在单卡上训练batchsize为2时大约4.5GB显存普通消费级显卡就能跑。如果显存不够优先调小batchsize和学习率线性缩放不要一上来就换轻量骨干否则要连带调一堆参数。3. YOLO系把检测做成一次回归的路线图3.1 YOLOv1最暴力的端到端思路YOLOYou Only Look Once从v1开始就走了一条和RCNN完全不同的路不搞候选区域直接把整张图划分成S×S个网格原文是7×7每个网格负责预测B个边界框原文B2每个框输出中心坐标偏移、宽高以及置信度分数同时每个网格还要输出C个类别的概率分布。网络一次前向计算就把所有目标的位置和类别全部输出来了——所以在速度上YOLOv1能做到45帧每秒的实时检测。YOLOv1的损失函数是理解这个算法灵魂的关键。它由四部分组成坐标损失预测框中心点坐标的均方误差以及宽高的平方根误差。用平方根而不是直接用宽高是为了削弱大框和小框之间的尺度差异——同样大小的绝对误差对小框的影响更大所以用平方根压缩一下。置信度损失分两种情况包含目标的框和不包含目标的框分开算。不包含目标的框数量远多于包含目标的框所以给一个小的权重λ_noobj0.5来平衡。分类损失网格预测的类别分布和真实类别的交叉熵。这个设计在当年非常激进但也带来明显缺陷每个网格最终只能预测一个类别当两个目标靠得很近或者目标尺寸很小时效果很差。这个问题在后续版本中被逐步解决。3.2 从v2到v11版本迭代到底在改什么YOLO系列的版本迭代经常被外行当成“换皮”但实际上每个版本都在解决上一代遗留的关键问题。**YOLOv2YOLO9000**引入了一系列工程化改进给主干网络加批归一化实际测试mAP提升明显、用更高分辨率输入训练、引入Anchor机制并且用K-means聚类在训练数据集上统计出更合理的Anchor尺寸、多尺度训练。v2还提出了一个把检测和分类联合训练的策略可以识别9000类目标相当惊艳。YOLOv3是真正让“YOLO也能打”的一代。它把骨干换成了Darknet-53并在三个不同尺度的特征图上做预测——13×13的大特征图负责大目标26×26和52×52的小特征图负责中小目标。每个尺度分配3个Anchor总共9个Anchor。这种多尺度特征金字塔的设计极大改善了小目标和密集目标检测是YOLO系从“偏科生”变成“全能选手”的关键转折点。YOLOv4可以说是集大成者。它把CSPDarknet53、SPP空间金字塔池化、PANet路径聚合网络、Mosaic数据增强、CIoU损失、DIoU NMS这些当时最有效的trick全部堆在一起精度和速度都达到了新的高度。YOLOv5Ultralytics团队维护可能是至今工业界用最广泛的版本。虽然它的官方论文后来才发布但工程生态做得好Python接口友好、导出ONNX/TensorRT方便、模型大小从n到x分档还带数据集标注工具和训练可视化。很多公司的检测服务就是直接用YOLOv5改的。YOLOv6来自美团面向工业应用优化了部署推理。YOLOv7在v4基础上做了E-ELAN结构改进速度更快。YOLOv82023年又转向了anchor-free设计用C2f模块替代C3并且支持检测、分割、姿态估计、旋转框等任务。YOLOv9提出PGI可编程梯度信息解决信息瓶颈问题。YOLOv10来自清华团队引入双标签分配和无NMS训练让推理真正做到了端到端。YOLO11Ultralytics的新命名则继续在效率和精度上做平衡官方还提供了极其轻量的nano版本模型文件只有5MB左右。网上甚至能看到“YOLO v26”之类的标题别慌那多半是营销号在蹭热度——主流社区实际上就到v8/v11这个梯队。3.3 现代YOLO的损失函数不止一个loss在打架很多人看YOLO源码时会懵因为现代YOLO的损失函数已经不是v1那种一个大公式了而是拆分成了多个loss的加权求和。以YOLOv8为例训练时的总损失大致是Loss λ_cls * L_cls λ_box * L_box λ_dfl * L_dfl其中L_cls是分类损失每个类别做二分类的交叉熵L_box是边界框回归损失通常用CIoU Loss或类似变体L_dflDistribution Focal Loss是让模型对框的四个边学习一个分布而不是直接回归一个值这样能预测更精细的位置。CIoU Loss是近年回归损失的主力它的改进思路很直观原始IoU Loss在预测框和真实框完全不重叠时梯度为0模型无法优化DIoU在IoU基础上加了中心点距离惩罚让两个框往一起靠CIoU又进一步加入宽高比的一致性惩罚让框的形状也尽量对齐。用我的话说这就像两个人碰头——先保证都往同一个方向走DIoU再保证走到的地方姿势也对得上CIoU。理解损失函数对调bug很重要。比如训练时发现L_box在0.5附近震荡下不去大概率是Anchor或目标尺度分布没匹配好如果L_cls降得异常快可能是类别严重不平衡导致的假象模型根本没学会定位。3.4 实操标注、训练、导出一条龙YOLO系现在最香的是Ultralytics生态训练自己的数据集几乎可以无脑操作。先用标注工具打好数据。单人小项目用LabelImg就够了它导出的是Pascal VOC格式的XML需要再转成YOLO的txt格式团队协作或数据量大推荐CVAT直接支持在线标注和多人协同也能直接导出YOLO格式。标注的时候有两点经验一是框不要紧贴目标边缘留2到3个像素的余量二是对小目标尽量放大图像再标注不然模型学到的框都是缩水版。数据组织成下面这样dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/每个txt文件名和图片名一致每行是class_id x_center y_center width height全部归一化到0-1。然后写一个data.yamltrain: dataset/images/train val: dataset/images/val nc: 2 names: [person, cat]训练一行命令搞定yolo detect train datadata.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0这里model参数可以填预训练权重路径YOLO会自动加载在COCO上学到的特征做迁移学习几千张数据也能训出不错的效果。训练完用best.pt做验证yolo detect val modelruns/detect/train/weights/best.pt datadata.yaml最后导出模型。ONNX是通用格式基本所有推理框架都支持yolo export modelruns/detect/train/weights/best.pt formatonnx导出时如果遇到算子不支持可以先检查PyTorch版本是不是太旧或者把opset版本调高。AMD显卡用户也不用死磕CUDA——Windows上可以用ONNX Runtime的DirectML后端调用AMD卡Linux上可以用ROCm实在搞不定就用CPU训练小模型跑一跑验证流程或者直接租云GPU。4. 两大系列正面PK项目到底该选哪个4.1 速度、精度、复杂度三方权衡RCNN系列和YOLO系列本质上是“精度优先”和“速度优先”的两种设计哲学。两阶段方法先粗后精候选区域生成逐区域精修定位更准但结构复杂单阶段方法一步到位把检测当回归直接输出结果网络简化、推理更快但早期精度偏弱。我整理了一个粗略的对比表方便你快速定位维度Faster RCNN系列YOLO系列网络结构两阶段RPN检测头单阶段一次回归输出推理速度0.1-0.3秒/张毫秒级到几十毫秒/张精度上限高尤其小目标和密集场景已接近但部分场景仍略逊可解释性中间有候选区域方便理解端到端黑盒工程生态mmdetection较全面Ultralytics极完善部署难度中等低导出格式齐全适合场景高性能计算、离线分析实时监控、嵌入式设备这里有个容易踩的坑不要只看COCO mAP排行就做选择。精度指标的差异在工程里可能只差几个点但推理延迟的差距可能是一个“能实时用”和一个“只能离线跑”的差距。4.2 按业务场景对号入座如果用一句话总结选型逻辑先问自己业务允许多大的延迟再考虑精度需求。如果是视频监控、自动驾驶、机器人、工业在线质检这类场景延迟是硬指标YOLO系列基本是唯一选择。因为一旦帧率上不去再高的精度也白搭。如果是医疗影像、遥感解译、卫星图像分析这类离线场景每张图的处理时间可以放宽到毫秒甚至秒级这时候Faster RCNN及其变体的精度优势就体现出来了——尤其是病灶、目标物很小且需要准确定位的场景两阶段方法通常表现更稳。还有一个容易被忽略的维度是数据规模。数据量大的时候Faster RCNN和YOLO的差距会缩小数据量很小几百张的时候YOLO的预训练迁移学习优势更明显。我在一个只有800张工业缺陷图片的项目里YOLOv8微调后的mAP0.5达到了0.9以上而Faster RCNN从零训练则很难收敛。4.3 轻量化与前沿方向要留意什么现在目标检测的方向早就不是“RCNN还是YOLO”二选一这么简单了。轻量化模型是当前热点对应热搜里“macs仅5mb的目标检测模型”——YOLO官方就有nano级版本参数量很小的同时精度也差不了太多适合跑在树莓派、手机这类边缘设备上。如果你用的设备资源极其紧张还可以考虑MobileNet这类轻量骨干CSP结构的组合或者用知识蒸馏把大模型压小。前沿方向上三维目标检测要处理点云或多视角数据常用PointPillars、VoxelNet等方法2D检测通常只是前置一环开放词汇目标检测如Grounding DINO让模型可以通过自然语言提示检测任意类别多模态目标检测则把文本-图像对齐的思想引入检测框架让模型学会“看了文字再找目标”。这些方向都是建立在RCNN/YOLO的基本范式之上的基础扎实了再往前走才不虚。5. 训练自己数据集时我踩过的坑和排查技巧5.1 数据侧的坑第一个坑是类别不平衡。很多数据集里“人”占了90%其余类别只有零星几张训练出来的模型几乎把一切都预测成人。解决方法是按类别重采样或者用带类别权重的损失函数。如果训练集实在不均衡我建议人工给少数类复制几份加强度简单粗暴但有效。第二个坑是小目标漏检。小目标在特征图里往往只占几个像素经过多层卷积下采样后就消失了。常规办法有三板斧一是提高输入分辨率比如imgsz从640提到1280分辨率翻倍对小目标检测的增益立竿见影二是启用多尺度训练让模型对不同尺寸的目标都有适应性三是用SAHI这类切片推理工具把大图切成小块分别检测再合并结果。前两个方法在YOLO里改个参数就行实测能把小目标mAP从0.35拉高到0.55左右。第三个坑是标注质量差。标注框偏大偏小、边界歪斜、漏标这些都会直接损害模型。训练前我强烈建议做一轮标注校验——把标注可视化叠加在图片上看一遍重点看小目标区域和遮挡区域。租了标注团队也不代表可以完全放手抽查比例至少要做到10%到20%。5.2 训练侧的坑训练不收敛是新手最容易遇到的问题。排查路径是固定的先看loss曲线是不是陡峭震荡如果是大概率是学习率太高调低一个数量级再试再看数据集路径是不是对YOLO训练时如果标注和图片名不匹配loss会不降反升最后检查类别ID——YOLO的类别ID必须从0开始连续编号如果从1开始模型会把背景当成第0类整体乱套。显存不足也很常见。解决办法按优先级排列减小batch size这是最直接的手段但batch太小会引入训练噪声一般不要小于8减小输入分辨率imgsz从640降到512显存占用大约减少36%使用混合精度训练Ultralytics默认开启AMP如果发现关闭后模型效果更好可能是数据精度问题导致梯度不稳定。实在不行就换nano版本模型起步。过拟合在小数据集上很普遍。如果训练loss一直在降、验证mAP却停滞甚至反降就该上数据增强了。现代YOLO默认开了Mosaic把四张图拼成一张还可以再加HSV扰动、随机翻转、平移缩放等。扩数据的同时把dropout或权重衰减加大也能有效压制过拟合。5.3 部署侧的坑模型导出ONNX后推理结果和PyTorch里不一致这种问题我在项目里遇到不止一次。最常见的源头是算子在转ONNX时不兼容特别是动态尺寸输入。解决方法是固定输入尺寸导出时带dynamicFalse如果还有问题用ONNX Runtime的onnxruntime.transformers.optimizer对图做一次优化绝大部分算子兼容问题都能解决。另一个坑是多类别预测阈值调错。训练时的conf阈值置信度阈值和iou阈值NMS阈值会影响最终输出框的数量和准度。实际部署时不要照搬训练参数要单独在验证集上做一次网格搜索。我常用的经验值通用场景conf0.25、iou0.45遮挡严重的场景把iou降到0.3让NMS更宽松一些减少漏检目标稀少的场景把conf提到0.5过滤掉误检。5.4 红外小目标等专业场景的评价参数补充做工程项目光看通用mAP往往不够。比如红外小目标检测这类专业场景目标极小、背景杂波复杂用的评价参数跟普通检测不太一样信杂比SCR衡量目标强度与背景杂波的比值SCR增益评价算法增强前后信杂比的提升倍数背景抑制因子考察算法对背景的抑制能力此外还有检测概率和虚警率两个直接反映检测性能的指标。如果项目需要出成果或者写技术报告这类领域专属指标一定要补上单纯给一个mAP数字很难说明算法在目标场景里的真实表现。6. 聊点个人经验别被版本号绑架最后分享一个我自己早期栽过的跟头。刚接触目标检测时我特别执着于“必须用最新版本的YOLO”结果光环境配置就折腾了好几天别提跑通实际项目了。后来才明白把RCNN系列和YOLO系列的演进逻辑理解透远比追最新版本号重要——因为这些模型的设计思想是连贯的Anchor怎么来、NMS怎么去、损失函数怎么平衡、多尺度怎么设计这些底层逻辑搞明白了无论未来出现v12还是v13你都能很快上手。我的建议是如果你是学生做毕设直接用YOLOv8或者YOLO11跑通一个完整流程——标注、训练、验证、导出、部署把这条路走通比纠结用哪个版本有价值得多如果你是工程师做项目Faster RCNN和YOLO不是二选一而是工具箱里各有用武之地的两把扳手真正决定成败的往往不是模型有多新而是你对数据的理解有多深。
RCNN与YOLO全解析：目标检测两大技术路线如何选？
搞目标检测这两年我被问得最多的一个问题不是“什么是anchor”而是“学长项目/毕设到底该学RCNN还是YOLO”——每年都有新人卡在这个岔路口。今天这篇就把这两条技术路线从头到尾捋一遍RCNN系列怎么一步步从“慢吞吞的候选区域CNN分类”进化到Faster RCNN的端到端检测YOLO系列又是怎么从v1一路迭代到v8/v11把“单次回归”这件事做到极致。还会把训练自己数据集、标注工具选择、AMD显卡跑YOLO、mmdetection配置、小目标检测、红外小目标评价参数这些实操内容一并讲清楚。文章适合三类人看一是正在做目标检测课设/毕设的学生二是准备把检测技术落地到实际业务的工程师三是在“到底该追新版本还是先用老版本”之间反复横跳的纠结症患者。我的建议是不管最终选哪条线先把原理吃透再谈工程效率。1. 先理清目标检测到底在解一道什么题1.1 分类、定位、检测的区别很多新手一上来就陷入算法对比结果连“检测任务本身的输出是什么”都没想明白。图像分类的输出是一个类别标签比如“这是猫”目标检测的输出则复杂得多——它要回答“图像里有哪些目标每个目标在什么位置”。所以检测模型的输出是一组边界框bounding box每个框带一个类别和一个置信度分数。在工程里这个框通常用两种方式表示一种是中心点宽高即 (x, y, w, h)另一种是左上角右下角即 (x1, y1, x2, y2)。不同框架的标注格式不一样YOLO系列用归一化的 (x_center, y_center, width, height)COCO数据集用 (x, y, width, height) 的像素坐标。这个差异看似不起眼但我在实际项目中见过太多次因为坐标格式没转对导致的训练崩溃——模型训练起来loss一直不降最后发现是标注读错了。检测任务还有一个容易混淆的兄弟叫实例分割它不仅要框出目标还要把每个目标的所有像素都抠出来。如果只做检测模型只需要回归框的四个值如果做分割就要在框的基础上再追加一个像素级的掩膜分支。YOLOv8同时支持检测和分割就是这种多任务设计的典型。1.2 绕不开的四个概念IoU、NMS、Anchor、mAP这四个概念是理解RCNN和YOLO所有演进的前提必须先把它们钉死在脑子里。**IoU交并比**是衡量两个框重叠程度的指标。假设预测框是A真实框是BIoU就是A和B交集面积除以并集面积取值0到1越接近1说明预测框越准。很多损失函数直接拿IoU来构造比如后面要讲的CIoU Loss。在推理阶段IoU也用来判断“这个预测框算不算定位正确”——比如mAP0.5的0.5就是指IoU阈值0.5只有预测框和真实框的IoU超过0.5才被算作命中。**NMS非极大值抑制**解决的是“一个目标出多个框”的问题。模型在推理时会对同一个目标输出很多高度重叠的候选框NMS的做法是先按置信度分数从高到低排序选分数最高的框保留然后删除所有与它IoU超过阈值的框重复这个过程直到处理完所有候选。这个后处理是早期YOLO和Faster RCNN都离不开的环节直到YOLOv10提出NMS-free方法才被逐渐替代。**Anchor锚框/先验框**是检测模型里最容易被忽略但最重要的设计。简单理解Anchor就是预先定义好的一组不同大小、不同长宽比的参考框。模型不是直接预测目标的绝对坐标而是预测“目标相对某个Anchor的偏移量”。这个机制最早被Faster RCNN系统化引入YOLOv2开始采用聚类方式生成更贴合数据分布的Anchor尺寸而YOLOv8则转向了anchor-free直接预测目标中心点到四条边的距离——这是一个相当关键的思路变化。**mAP平均精度均值**是目标检测最常用的评价指标。先按置信度把所有预测框排序逐个计算精确率和召回率画出PR曲线曲线下的面积就是AP。把所有类别的AP取平均就是mAP。COCO比赛标准是mAP0.5:0.95——IoU从0.5到0.95步长0.05共10个阈值分别算AP再求平均这个指标对小目标的定位精度更敏感。很多人只在报告里写mAP0.5这其实是取了松的阈值数字好看但说服力不足。2. RCNN系两阶段检测的思路是怎么演进的2.1 RCNN先用候选区域再用CNN鉴别2014年的RCNNRegions with CNN features是深度学习目标检测的里程碑。它的核心思路很朴素先用传统图像分割算法选择性搜索在整图上生成约2000个候选区域然后把每个候选区域缩放成固定尺寸分别送入CNN当时是AlexNet提取特征最后用SVM分类器判断这个区域是什么类别再用一个回归器修正边界框位置。这套“两阶段”思路在当时效果惊艳但缺点也极其明显每个候选区域都要单独过一遍卷积网络2000个区域就要做2000次前向计算一张图在GPU上也要40多秒训练更是要分三步走——先预训练CNN、再微调网络、最后训练SVM和回归器流程繁琐不说每个模块还互相割裂。但RCNN有一个贡献至今被低估它证明了CNN不仅能做分类还能通过“候选区域回归”的方式完成定位。后来的所有两阶段算法本质上都是在这套思路上做优化。2.2 Fast RCNN把卷积变成全图共享Fast RCNN的核心改进是“只对整图做一次卷积”。具体做法是整张图输入CNN得到一张特征图候选区域不再送到CNN里而是通过坐标映射关系投影到特征图的对应区域然后用一个ROI Pooling层把这些不同大小的区域池化成固定尺寸比如7×7再送入全连接层。这个优化把速度提升到了单张图0.3秒左右比RCNN快了近25倍。更重要的是它把分类和框回归放进了同一个网络里做联合训练用多任务损失函数同时优化两个目标不再需要SVM和独立的回归器。Fast RCNN的瓶颈变成了候选区域生成——选择性搜索依然是CPU上的传统算法每次大约耗时2秒比网络本身还慢。这直接催生了Faster RCNN的关键创新。2.3 Faster RCNN让网络自己学会提候选Faster RCNN在2016年提出了RPNRegion Proposal Network区域提议网络把候选区域生成也变成了神经网络的一部分。RPN的做法是在共享特征图上用一个3×3的滑动窗口扫描每个位置生成k个锚框Anchor原文是3种尺度×3种长宽比k9网络为每个Anchor输出两个东西一个是“是不是前景”的分数另一个是锚框坐标的回归偏移量。因为RPN和后面的检测头共享卷积特征整个Faster RCNN可以实现真正的端到端训练速度提升到单张0.2秒左右精度也大幅提升。Faster RCNN确立了两阶段检测的标准范式后续的Mask RCNN加分割分支、Cascade RCNN级联多阶段回归都是在它基础上扩展的。2.4 实操用mmdetection快速训练Faster RCNN如果你想在实际项目中使用Faster RCNN最推荐的方式是用OpenMMLab的mmdetection。它把数据加载、模型定义、训练流程、评测指标全打包好了不用自己造轮子。但mmdetection的安装有个著名的坑mmcv、PyTorch、CUDA三者的版本必须严格对应。最简单的办法是直接拉官方提供的Docker镜像或者按下面这套流程装# 创建虚拟环境 conda create -n mmdet python3.8 conda activate mmdet # 安装pytorch注意版本要和CUDA匹配 pip install torch1.13.1 torchvision0.14.1 # 安装mmcv这里要指定cuda和torch版本 pip install mmcv2.0.0 -f https://download.openmmlab.com/mmcv/dist/cu117/torch1.13/index.html # 拉取mmdetection代码并安装 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection pip install -v -e .数据准备上mmdetection默认使用COCO格式。你需要把数据组织成这样的目录结构data/custom/ ├── annotations/ │ └── instances_train.json ├── images/ │ └── train/ └── labels/然后修改配置文件重点改三个地方data_root指向你的数据路径num_classes改成你的类别数data.train.img_prefix改成图片所在目录。模型结构部分可以直接复用faster_rcnn_r50_fpn_1x_coco.py这个配置只改num_classesmodel dict( roi_headdict( bbox_headdict( typeShared2FCBBoxHead, num_classes3, # 改成你的类别数 ) ) )训练命令很简单python tools/train.py configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py实测下来Faster RCNN用ResNet50骨干在单卡上训练batchsize为2时大约4.5GB显存普通消费级显卡就能跑。如果显存不够优先调小batchsize和学习率线性缩放不要一上来就换轻量骨干否则要连带调一堆参数。3. YOLO系把检测做成一次回归的路线图3.1 YOLOv1最暴力的端到端思路YOLOYou Only Look Once从v1开始就走了一条和RCNN完全不同的路不搞候选区域直接把整张图划分成S×S个网格原文是7×7每个网格负责预测B个边界框原文B2每个框输出中心坐标偏移、宽高以及置信度分数同时每个网格还要输出C个类别的概率分布。网络一次前向计算就把所有目标的位置和类别全部输出来了——所以在速度上YOLOv1能做到45帧每秒的实时检测。YOLOv1的损失函数是理解这个算法灵魂的关键。它由四部分组成坐标损失预测框中心点坐标的均方误差以及宽高的平方根误差。用平方根而不是直接用宽高是为了削弱大框和小框之间的尺度差异——同样大小的绝对误差对小框的影响更大所以用平方根压缩一下。置信度损失分两种情况包含目标的框和不包含目标的框分开算。不包含目标的框数量远多于包含目标的框所以给一个小的权重λ_noobj0.5来平衡。分类损失网格预测的类别分布和真实类别的交叉熵。这个设计在当年非常激进但也带来明显缺陷每个网格最终只能预测一个类别当两个目标靠得很近或者目标尺寸很小时效果很差。这个问题在后续版本中被逐步解决。3.2 从v2到v11版本迭代到底在改什么YOLO系列的版本迭代经常被外行当成“换皮”但实际上每个版本都在解决上一代遗留的关键问题。**YOLOv2YOLO9000**引入了一系列工程化改进给主干网络加批归一化实际测试mAP提升明显、用更高分辨率输入训练、引入Anchor机制并且用K-means聚类在训练数据集上统计出更合理的Anchor尺寸、多尺度训练。v2还提出了一个把检测和分类联合训练的策略可以识别9000类目标相当惊艳。YOLOv3是真正让“YOLO也能打”的一代。它把骨干换成了Darknet-53并在三个不同尺度的特征图上做预测——13×13的大特征图负责大目标26×26和52×52的小特征图负责中小目标。每个尺度分配3个Anchor总共9个Anchor。这种多尺度特征金字塔的设计极大改善了小目标和密集目标检测是YOLO系从“偏科生”变成“全能选手”的关键转折点。YOLOv4可以说是集大成者。它把CSPDarknet53、SPP空间金字塔池化、PANet路径聚合网络、Mosaic数据增强、CIoU损失、DIoU NMS这些当时最有效的trick全部堆在一起精度和速度都达到了新的高度。YOLOv5Ultralytics团队维护可能是至今工业界用最广泛的版本。虽然它的官方论文后来才发布但工程生态做得好Python接口友好、导出ONNX/TensorRT方便、模型大小从n到x分档还带数据集标注工具和训练可视化。很多公司的检测服务就是直接用YOLOv5改的。YOLOv6来自美团面向工业应用优化了部署推理。YOLOv7在v4基础上做了E-ELAN结构改进速度更快。YOLOv82023年又转向了anchor-free设计用C2f模块替代C3并且支持检测、分割、姿态估计、旋转框等任务。YOLOv9提出PGI可编程梯度信息解决信息瓶颈问题。YOLOv10来自清华团队引入双标签分配和无NMS训练让推理真正做到了端到端。YOLO11Ultralytics的新命名则继续在效率和精度上做平衡官方还提供了极其轻量的nano版本模型文件只有5MB左右。网上甚至能看到“YOLO v26”之类的标题别慌那多半是营销号在蹭热度——主流社区实际上就到v8/v11这个梯队。3.3 现代YOLO的损失函数不止一个loss在打架很多人看YOLO源码时会懵因为现代YOLO的损失函数已经不是v1那种一个大公式了而是拆分成了多个loss的加权求和。以YOLOv8为例训练时的总损失大致是Loss λ_cls * L_cls λ_box * L_box λ_dfl * L_dfl其中L_cls是分类损失每个类别做二分类的交叉熵L_box是边界框回归损失通常用CIoU Loss或类似变体L_dflDistribution Focal Loss是让模型对框的四个边学习一个分布而不是直接回归一个值这样能预测更精细的位置。CIoU Loss是近年回归损失的主力它的改进思路很直观原始IoU Loss在预测框和真实框完全不重叠时梯度为0模型无法优化DIoU在IoU基础上加了中心点距离惩罚让两个框往一起靠CIoU又进一步加入宽高比的一致性惩罚让框的形状也尽量对齐。用我的话说这就像两个人碰头——先保证都往同一个方向走DIoU再保证走到的地方姿势也对得上CIoU。理解损失函数对调bug很重要。比如训练时发现L_box在0.5附近震荡下不去大概率是Anchor或目标尺度分布没匹配好如果L_cls降得异常快可能是类别严重不平衡导致的假象模型根本没学会定位。3.4 实操标注、训练、导出一条龙YOLO系现在最香的是Ultralytics生态训练自己的数据集几乎可以无脑操作。先用标注工具打好数据。单人小项目用LabelImg就够了它导出的是Pascal VOC格式的XML需要再转成YOLO的txt格式团队协作或数据量大推荐CVAT直接支持在线标注和多人协同也能直接导出YOLO格式。标注的时候有两点经验一是框不要紧贴目标边缘留2到3个像素的余量二是对小目标尽量放大图像再标注不然模型学到的框都是缩水版。数据组织成下面这样dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/每个txt文件名和图片名一致每行是class_id x_center y_center width height全部归一化到0-1。然后写一个data.yamltrain: dataset/images/train val: dataset/images/val nc: 2 names: [person, cat]训练一行命令搞定yolo detect train datadata.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0这里model参数可以填预训练权重路径YOLO会自动加载在COCO上学到的特征做迁移学习几千张数据也能训出不错的效果。训练完用best.pt做验证yolo detect val modelruns/detect/train/weights/best.pt datadata.yaml最后导出模型。ONNX是通用格式基本所有推理框架都支持yolo export modelruns/detect/train/weights/best.pt formatonnx导出时如果遇到算子不支持可以先检查PyTorch版本是不是太旧或者把opset版本调高。AMD显卡用户也不用死磕CUDA——Windows上可以用ONNX Runtime的DirectML后端调用AMD卡Linux上可以用ROCm实在搞不定就用CPU训练小模型跑一跑验证流程或者直接租云GPU。4. 两大系列正面PK项目到底该选哪个4.1 速度、精度、复杂度三方权衡RCNN系列和YOLO系列本质上是“精度优先”和“速度优先”的两种设计哲学。两阶段方法先粗后精候选区域生成逐区域精修定位更准但结构复杂单阶段方法一步到位把检测当回归直接输出结果网络简化、推理更快但早期精度偏弱。我整理了一个粗略的对比表方便你快速定位维度Faster RCNN系列YOLO系列网络结构两阶段RPN检测头单阶段一次回归输出推理速度0.1-0.3秒/张毫秒级到几十毫秒/张精度上限高尤其小目标和密集场景已接近但部分场景仍略逊可解释性中间有候选区域方便理解端到端黑盒工程生态mmdetection较全面Ultralytics极完善部署难度中等低导出格式齐全适合场景高性能计算、离线分析实时监控、嵌入式设备这里有个容易踩的坑不要只看COCO mAP排行就做选择。精度指标的差异在工程里可能只差几个点但推理延迟的差距可能是一个“能实时用”和一个“只能离线跑”的差距。4.2 按业务场景对号入座如果用一句话总结选型逻辑先问自己业务允许多大的延迟再考虑精度需求。如果是视频监控、自动驾驶、机器人、工业在线质检这类场景延迟是硬指标YOLO系列基本是唯一选择。因为一旦帧率上不去再高的精度也白搭。如果是医疗影像、遥感解译、卫星图像分析这类离线场景每张图的处理时间可以放宽到毫秒甚至秒级这时候Faster RCNN及其变体的精度优势就体现出来了——尤其是病灶、目标物很小且需要准确定位的场景两阶段方法通常表现更稳。还有一个容易被忽略的维度是数据规模。数据量大的时候Faster RCNN和YOLO的差距会缩小数据量很小几百张的时候YOLO的预训练迁移学习优势更明显。我在一个只有800张工业缺陷图片的项目里YOLOv8微调后的mAP0.5达到了0.9以上而Faster RCNN从零训练则很难收敛。4.3 轻量化与前沿方向要留意什么现在目标检测的方向早就不是“RCNN还是YOLO”二选一这么简单了。轻量化模型是当前热点对应热搜里“macs仅5mb的目标检测模型”——YOLO官方就有nano级版本参数量很小的同时精度也差不了太多适合跑在树莓派、手机这类边缘设备上。如果你用的设备资源极其紧张还可以考虑MobileNet这类轻量骨干CSP结构的组合或者用知识蒸馏把大模型压小。前沿方向上三维目标检测要处理点云或多视角数据常用PointPillars、VoxelNet等方法2D检测通常只是前置一环开放词汇目标检测如Grounding DINO让模型可以通过自然语言提示检测任意类别多模态目标检测则把文本-图像对齐的思想引入检测框架让模型学会“看了文字再找目标”。这些方向都是建立在RCNN/YOLO的基本范式之上的基础扎实了再往前走才不虚。5. 训练自己数据集时我踩过的坑和排查技巧5.1 数据侧的坑第一个坑是类别不平衡。很多数据集里“人”占了90%其余类别只有零星几张训练出来的模型几乎把一切都预测成人。解决方法是按类别重采样或者用带类别权重的损失函数。如果训练集实在不均衡我建议人工给少数类复制几份加强度简单粗暴但有效。第二个坑是小目标漏检。小目标在特征图里往往只占几个像素经过多层卷积下采样后就消失了。常规办法有三板斧一是提高输入分辨率比如imgsz从640提到1280分辨率翻倍对小目标检测的增益立竿见影二是启用多尺度训练让模型对不同尺寸的目标都有适应性三是用SAHI这类切片推理工具把大图切成小块分别检测再合并结果。前两个方法在YOLO里改个参数就行实测能把小目标mAP从0.35拉高到0.55左右。第三个坑是标注质量差。标注框偏大偏小、边界歪斜、漏标这些都会直接损害模型。训练前我强烈建议做一轮标注校验——把标注可视化叠加在图片上看一遍重点看小目标区域和遮挡区域。租了标注团队也不代表可以完全放手抽查比例至少要做到10%到20%。5.2 训练侧的坑训练不收敛是新手最容易遇到的问题。排查路径是固定的先看loss曲线是不是陡峭震荡如果是大概率是学习率太高调低一个数量级再试再看数据集路径是不是对YOLO训练时如果标注和图片名不匹配loss会不降反升最后检查类别ID——YOLO的类别ID必须从0开始连续编号如果从1开始模型会把背景当成第0类整体乱套。显存不足也很常见。解决办法按优先级排列减小batch size这是最直接的手段但batch太小会引入训练噪声一般不要小于8减小输入分辨率imgsz从640降到512显存占用大约减少36%使用混合精度训练Ultralytics默认开启AMP如果发现关闭后模型效果更好可能是数据精度问题导致梯度不稳定。实在不行就换nano版本模型起步。过拟合在小数据集上很普遍。如果训练loss一直在降、验证mAP却停滞甚至反降就该上数据增强了。现代YOLO默认开了Mosaic把四张图拼成一张还可以再加HSV扰动、随机翻转、平移缩放等。扩数据的同时把dropout或权重衰减加大也能有效压制过拟合。5.3 部署侧的坑模型导出ONNX后推理结果和PyTorch里不一致这种问题我在项目里遇到不止一次。最常见的源头是算子在转ONNX时不兼容特别是动态尺寸输入。解决方法是固定输入尺寸导出时带dynamicFalse如果还有问题用ONNX Runtime的onnxruntime.transformers.optimizer对图做一次优化绝大部分算子兼容问题都能解决。另一个坑是多类别预测阈值调错。训练时的conf阈值置信度阈值和iou阈值NMS阈值会影响最终输出框的数量和准度。实际部署时不要照搬训练参数要单独在验证集上做一次网格搜索。我常用的经验值通用场景conf0.25、iou0.45遮挡严重的场景把iou降到0.3让NMS更宽松一些减少漏检目标稀少的场景把conf提到0.5过滤掉误检。5.4 红外小目标等专业场景的评价参数补充做工程项目光看通用mAP往往不够。比如红外小目标检测这类专业场景目标极小、背景杂波复杂用的评价参数跟普通检测不太一样信杂比SCR衡量目标强度与背景杂波的比值SCR增益评价算法增强前后信杂比的提升倍数背景抑制因子考察算法对背景的抑制能力此外还有检测概率和虚警率两个直接反映检测性能的指标。如果项目需要出成果或者写技术报告这类领域专属指标一定要补上单纯给一个mAP数字很难说明算法在目标场景里的真实表现。6. 聊点个人经验别被版本号绑架最后分享一个我自己早期栽过的跟头。刚接触目标检测时我特别执着于“必须用最新版本的YOLO”结果光环境配置就折腾了好几天别提跑通实际项目了。后来才明白把RCNN系列和YOLO系列的演进逻辑理解透远比追最新版本号重要——因为这些模型的设计思想是连贯的Anchor怎么来、NMS怎么去、损失函数怎么平衡、多尺度怎么设计这些底层逻辑搞明白了无论未来出现v12还是v13你都能很快上手。我的建议是如果你是学生做毕设直接用YOLOv8或者YOLO11跑通一个完整流程——标注、训练、验证、导出、部署把这条路走通比纠结用哪个版本有价值得多如果你是工程师做项目Faster RCNN和YOLO不是二选一而是工具箱里各有用武之地的两把扳手真正决定成败的往往不是模型有多新而是你对数据的理解有多深。
![[AI工程]Jev 决策模型第三篇：官方自己列了九种失败模式，它到底不能干什么](http://pic.xiahunao.cn/yaotu/[AI工程]Jev 决策模型第三篇：官方自己列了九种失败模式，它到底不能干什么)
