简介这份资源面向计算机视觉、机器人开发方向的学习者与工程实践者提供一套基于YOLO与ROS的无人机气球目标跟踪系统完整实战包可用于理解实时目标检测与飞行控制如何协同工作。压缩包共188个文件约24.03MB以C与C源码为主体辅以CUDA加速文件、Python脚本、YAML配置、launch启动文件及msg消息定义另含少量图片与文档覆盖图像采集、检测推理、跟踪逻辑与无人机接口交互等模块。资源包含系统标定、数据预处理、目标检测与跟踪算法实现、实时反馈控制等关键环节的源码与流程教程并配有跟踪效果展示便于对照复现与二次开发。目前已有445人学习下载适合希望打通视觉感知与ROS应用链路、积累跨学科项目经验的开发者参考。1. 无人机气球跟踪YOLOROS 这套组合拳到底能解决什么气球飘在半空风一吹就变向颜色还经常和背景撞车——这是无人机视觉跟踪里最让人头疼的场景之一。我最初拿到「无人机目标跟踪-基于YOLOROS实现的无人机气球跟踪系统」这个方向时第一反应是检测器好找YOLO 预训练模型下载下来就能跑但真正难的是把检测结果稳定地喂给飞控让飞机自己追着气球走。这套系统要解决的核心问题就一个用机载摄像头实时检测气球通过 ROS 把目标位置转换成速度指令让无人机在不用 GPS 标签的情况下完成视觉伺服跟踪。适合谁有 Python 基础、摸过 ROS 基础概念、想找一个完整闭环项目练手的飞控或视觉方向从业者。标定、YOLO 推理、ROS 话题通信、PID 控制四个环节缺一不可任何一个环节的误差都会在飞行中放大成「飞机画龙」或者「跟丢目标」。下面我按实际落地顺序把每个环节的参数和坑拆开讲。2. 从相机标定到 YOLO 推理让像素坐标说人话2.1 相机标定为什么是跟踪系统的地基气球在图像里是一个像素坐标 (u, v)但飞控需要的是相机坐标系下的三维方向。没有标定你连焦距和畸变系数都不知道像素坐标转角度就是瞎猜。常见做法是用棋盘格标定板采集 15 到 20 张不同姿态的图像跑 OpenCV 的 calibrateCamera。我一般会特别注意两点标定板要占画面三分之一以上太小的标定板角点检测误差会直接污染内参采集时覆盖画面四个角和中心不要只在一个区域晃。标定完成后你会拿到内参矩阵 K 和畸变系数 D。对于气球跟踪畸变系数里的 k1、k2 影响最大因为气球经常出现在画面边缘径向畸变会让像素坐标偏移几十个像素。下面这段代码是标定和去畸变的完整流程import cv2 import numpy as np import glob # 棋盘格内角点数量这里用 9x6 pattern_size (9, 6) objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objpoints [] # 三维点 imgpoints [] # 二维点 images glob.glob(calib_images/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素级角点优化窗口大小 11x11 corners2 cv2.cornerSubPix( gray, corners, (11, 11), (-1, -1), criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) ) objpoints.append(objp) imgpoints.append(corners2) # 标定输出内参矩阵 mtx、畸变系数 dist ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(内参矩阵:\n, mtx) print(畸变系数:, dist.ravel()) # 去畸变newCameraMatrix 用 getOptimalNewCameraMatrix 自动裁剪 h, w gray.shape[:2] newcameramtx, roi cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h)) dst cv2.undistort(img, mtx, dist, None, newcameramtx) cv2.imwrite(undistorted.jpg, dst)逻辑说明findChessboardCorners 负责粗定位角点cornerSubPix 把精度推到亚像素级这一步不做的话重投影误差可能差 0.5 个像素以上。calibrateCamera 返回的 ret 是重投影误差我一般要求小于 0.3 像素超过 0.5 就重新采集。getOptimalNewCameraMatrix 的最后一个参数 alpha 设 1 会保留所有像素但边缘有黑边设 0 会裁剪掉黑边但丢失视野跟踪场景建议用 0.5 折中。参数方面标定板方格实际尺寸要量准比如 25mm 就写 0.025单位用米。畸变系数里 k3 对普通镜头影响很小但如果是广角镜头k3 不能忽略。标定完成后把 mtx 和 dist 存成 npz 文件推理时直接加载不要每次重新标。2.2 YOLO 模型选型与推理参数怎么定YOLO 版本迭代很快yolov11 目标跟踪在气球这种小目标上表现比 v8 稳但如果你手头只有 v8 的预训练模型也够用。关键不在版本在输入分辨率和置信度阈值。气球在 1080p 画面里可能只占 60x80 像素输入网络如果缩到 640气球就剩 30x40特征快没了。我一般把推理尺寸设成 960 或 1280代价是帧率下降但检测召回率能提 15% 以上。from ultralytics import YOLO import cv2 import numpy as np # 加载预训练模型这里以 yolov8n 为例实际可用 yolov11n model YOLO(yolov8n.pt) # 气球类别在 COCO 里没有需要用自定义数据集微调 # 推理时只保留气球类假设训练时类别 id 为 0 cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720) while True: ret, frame cap.read() if not ret: break # imgsz 设 960conf 设 0.35iou 设 0.5 results model(frame, imgsz960, conf0.35, iou0.5, verboseFalse) for r in results: boxes r.boxes for box in boxes: cls_id int(box.cls[0]) if cls_id ! 0: # 只关心气球类 continue x1, y1, x2, y2 box.xyxy[0].cpu().numpy() conf float(box.conf[0]) # 计算目标中心像素坐标 cx (x1 x2) / 2 cy (y1 y2) / 2 cv2.rectangle(frame, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) cv2.putText(frame, fballoon {conf:.2f}, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) cv2.imshow(YOLO, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()逻辑说明imgsz 是推理分辨率不是训练分辨率推理时可以独立调整。conf 阈值设 0.35 是经验值低于 0.3 误检会明显增多高于 0.5 容易漏掉远处的小气球。iou 阈值控制 NMS 的合并程度气球之间距离近的时候可以调到 0.6 避免漏检。verboseFalse 关掉每帧日志不然终端刷屏影响调试。如果你要自己训练气球检测模型数据量至少 500 张标注时框要贴紧气球边缘不要留太多背景。yolo 损失函数里分类损失和框回归损失的权重默认是平衡的但气球这种单一类别场景可以把分类损失权重调低让模型更关注框的位置精度。训练中 bn 崩溃通常是因为 batch size 太小设成 16 以上或者用梯度累积。2.3 像素坐标转相机坐标系的几何关系拿到气球中心像素坐标 (cx, cy) 后需要转换成相机坐标系下的方向向量。假设气球在相机前方忽略深度信息只求方向角import numpy as np def pixel_to_angle(cx, cy, mtx, img_w, img_h): # 去畸变后的归一化坐标 fx mtx[0, 0] fy mtx[1, 1] cx0 mtx[0, 2] cy0 mtx[1, 2] # 归一化平面坐标 x_norm (cx - cx0) / fx y_norm (cy - cy0) / fy # 水平角和垂直角单位弧度 yaw np.arctan(x_norm) pitch np.arctan(y_norm) return yaw, pitch逻辑说明fx、fy 是焦距的像素表示cx0、cy0 是主点。yaw 是水平偏角pitch 是垂直偏角。这个角度直接送给 ROS 里的控制节点作为速度指令的输入。注意这里假设相机光轴和机身前方对齐如果相机有安装偏角需要额外做手眼标定补偿。参数方面mtx 必须用去畸变后的新内参矩阵不要用原始标定矩阵否则边缘像素的角度会偏。如果气球在画面边缘yaw 可能超过 30 度这时候线性映射就不准了需要引入畸变模型做非线性校正。3. ROS 节点搭建把检测结果变成飞控能懂的速度指令3.1 话题设计检测节点和控制节点怎么通信ROS 里最直接的方式是检测节点发布一个自定义消息包含气球中心坐标、置信度和时间戳控制节点订阅后计算速度。消息定义如下# BalloonTarget.msg float32 cx float32 cy float32 conf float32 yaw float32 pitch std_msgs/Header header检测节点发布 /balloon_target控制节点订阅后结合高度和期望距离生成 /cmd_vel。这里有个关键点消息频率要和相机帧率匹配不要人为降频否则控制会有延迟。我一般把检测节点和控制节点放在同一台机载计算机上用共享内存通信延迟能压到 5ms 以内。# detector_node.py import rospy from balloon_tracker.msg import BalloonTarget from std_msgs.msg import Header import cv2 from ultralytics import YOLO rospy.init_node(balloon_detector) pub rospy.Publisher(/balloon_target, BalloonTarget, queue_size1) model YOLO(yolov8n.pt) cap cv2.VideoCapture(0) rate rospy.Rate(30) # 30Hz while not rospy.is_shutdown(): ret, frame cap.read() if not ret: continue results model(frame, imgsz960, conf0.35, verboseFalse) msg BalloonTarget() msg.header Header() msg.header.stamp rospy.Time.now() for r in results: for box in r.boxes: if int(box.cls[0]) ! 0: continue x1, y1, x2, y2 box.xyxy[0].cpu().numpy() msg.cx float((x1 x2) / 2) msg.cy float((y1 y2) / 2) msg.conf float(box.conf[0]) # 这里简化处理实际要调用 pixel_to_angle msg.yaw 0.0 msg.pitch 0.0 pub.publish(msg) break rate.sleep()逻辑说明queue_size1 保证只发最新消息避免控制节点处理旧数据。header.stamp 用 rospy.Time.now() 打时间戳控制节点可以用它做延迟补偿。break 只取置信度最高的一个目标气球跟踪场景一般只有一个目标多目标反而会干扰控制。参数方面rate 设 30Hz 对应相机 30fps如果相机是 60fps 可以设 60。imgsz 和 conf 与上一节一致。注意 rospy.Rate 的 sleep 会受系统调度影响实际频率可能略低可以用 rostopic hz 检查。3.2 PID 控制参数怎么调才不画龙控制节点收到 yaw 和 pitch 后用 PID 计算速度指令。yaw 控制偏航角速度pitch 控制前后速度。我一般先用 P 控制跑通再加 I 和 D。P 太大飞机会来回摆P 太小响应慢追不上气球。# controller_node.py import rospy from geometry_msgs.msg import Twist from balloon_tracker.msg import BalloonTarget rospy.init_node(balloon_controller) pub rospy.Publisher(/cmd_vel, Twist, queue_size1) # PID 参数 Kp_yaw 0.8 Ki_yaw 0.0 Kd_yaw 0.05 Kp_pitch 0.5 Ki_pitch 0.0 Kd_pitch 0.1 target_yaw 0.0 target_pitch 0.0 integral_yaw 0.0 integral_pitch 0.0 prev_error_yaw 0.0 prev_error_pitch 0.0 def callback(msg): global integral_yaw, integral_pitch, prev_error_yaw, prev_error_pitch error_yaw msg.yaw - target_yaw error_pitch msg.pitch - target_pitch integral_yaw error_yaw * 0.033 # 假设 30Hz integral_pitch error_pitch * 0.033 derivative_yaw (error_yaw - prev_error_yaw) / 0.033 derivative_pitch (error_pitch - prev_error_pitch) / 0.033 cmd Twist() cmd.angular.z Kp_yaw * error_yaw Ki_yaw * integral_yaw Kd_yaw * derivative_yaw cmd.linear.x Kp_pitch * error_pitch Ki_pitch * integral_pitch Kd_pitch * derivative_pitch pub.publish(cmd) prev_error_yaw error_yaw prev_error_pitch error_pitch rospy.Subscriber(/balloon_target, BalloonTarget, callback) rospy.spin()逻辑说明error_yaw 是目标偏角和当前偏角的差乘 Kp 得到角速度。Kd 抑制震荡Ki 消除稳态误差。气球跟踪场景 Ki 一般设 0因为气球在动积分项容易累积导致过冲。derivative 项对噪声敏感如果 yaw 抖动大可以加低通滤波。参数方面Kp_yaw 从 0.5 开始试每次加 0.1直到飞机能跟上气球但不震荡。Kd_yaw 从 0 开始加 0.02 观察是否减少震荡。Kp_pitch 控制前后速度太大飞机会冲过头太小追不上。我一般把 Kp_pitch 设成 Kp_yaw 的 0.6 倍左右。3.3 仿真验证不用真机也能跑通闭环真机飞之前先在 Gazebo 里跑一遍。ROS 的 gazebo_ros 包可以加载无人机模型和相机传感器把检测节点和控制节点接上看飞机能不能追上一个移动的气球模型。仿真里可以把气球设成正弦运动观察跟踪误差。# 启动 Gazebo 仿真环境 roslaunch balloon_tracker simulation.launch # 另开终端启动检测节点 rosrun balloon_tracker detector_node.py # 启动控制节点 rosrun balloon_tracker controller_node.py # 查看跟踪误差 rostopic echo /balloon_target rostopic echo /cmd_vel逻辑说明simulation.launch 里配置了无人机模型、相机插件和气球模型。detector_node 订阅相机图像controller_node 发布速度指令。rostopic echo 可以实时看消息内容判断检测是否稳定、控制是否合理。参数方面仿真里可以把相机分辨率设成 640x480 加快速度真机再用 1280x720。气球运动频率设 0.2Hz 到 0.5Hz太快了飞机跟不上。如果仿真里飞机画龙先调 Kd再调 Kp。4. 避坑与排查气球跟踪系统最常见的 5 个翻车现场4.1 标定重投影误差大角度全偏现象标定完 ret 值 0.8 以上去畸变后直线还是弯的。原因标定板图像太少或者姿态太单一角点检测不准。解决重新采集 20 张以上覆盖画面各个区域标定板倾斜角度至少 30 度。如果还不行换更大尺寸的标定板。4.2 YOLO 漏检远处小气球现象气球在画面里只有几十个像素YOLO 置信度低于 0.3 直接不输出。原因推理分辨率太低小目标特征丢失。解决把 imgsz 提到 1280conf 降到 0.25同时用自定义数据集微调模型增加小目标样本。4.3 ROS 话题延迟导致控制滞后现象飞机总是慢半拍气球已经变向飞机还在往旧方向飞。原因检测节点和控制节点频率不匹配或者消息队列积压。解决queue_size 设 1检测和控制频率一致用 rostopic hz 检查实际频率。如果延迟还是大把两个节点合并成一个进程。4.4 PID 参数震荡飞机画龙现象飞机左右摆越摆越大。原因Kp 太大或者 Kd 太小。解决先把 Kd 加到 Kp 的 0.1 倍观察震荡是否减弱。如果还摆Kp 降 20%。Ki 在气球跟踪里直接设 0不要开。4.5 相机安装偏角没补偿现象气球在画面正中心但飞机往偏方向飞。原因相机光轴和机身前方不重合yaw 有固定偏差。解决做手眼标定测出相机安装偏角在 pixel_to_angle 里减去这个偏角。简单方法是在飞机正前方放一个目标看检测输出的 yaw 是多少把这个值作为零偏存下来。5. 进阶技巧用光流辅助 YOLO 做丢失重捕YOLO 在气球被遮挡或者快速运动时容易丢帧一旦丢失控制节点收到不到消息就会悬停气球可能飘出视野。我一般加一个光流跟踪作为备份YOLO 检测到气球时用 Lucas-Kanade 光流跟踪气球上的特征点YOLO 丢失时光流继续输出目标位置给 YOLO 争取重检测的时间。import cv2 import numpy as np # 初始化光流参数 lk_params dict(winSize(21, 21), maxLevel3, criteria(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 30, 0.01)) # 在 YOLO 检测框内提取特征点 def extract_features(frame, bbox): x1, y1, x2, y2 bbox mask np.zeros(frame.shape[:2], np.uint8) mask[int(y1):int(y2), int(x1):int(x2)] 255 pts cv2.goodFeaturesToTrack( cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), maxCorners20, qualityLevel0.01, minDistance5, maskmask ) return pts # 光流跟踪 def track_optical_flow(prev_gray, gray, pts): new_pts, status, err cv2.calcOpticalFlowPyrLK(prev_gray, gray, pts, None, **lk_params) # 只保留跟踪成功的点 good_new new_pts[status 1] good_old pts[status 1] return good_new, good_old逻辑说明goodFeaturesToTrack 在 YOLO 框内找角点maxCorners 设 20 够用太多反而慢。calcOpticalFlowPyrLK 用金字塔光流winSize 21x21 适合中等运动速度。status 为 1 表示跟踪成功为 0 表示丢失。如果成功点少于 5 个就认为光流也丢了需要重新 YOLO 检测。参数方面qualityLevel 设 0.01 比较宽松能提取到更多点。minDistance 设 5 避免点太集中。maxLevel 设 3 对应金字塔层数运动快可以加到 4。光流跟踪的频率可以和 YOLO 一样也可以更高因为光流计算量小。验证方法在仿真里让气球做快速正弦运动观察 YOLO 丢失时光流能不能接上。如果光流也丢说明运动太快需要提高相机帧率或者降低气球速度。实际飞行时光流辅助能把丢失重捕时间从 200ms 降到 50ms 以内跟踪连续性明显提升。我自己的习惯是每次改完 PID 参数先在仿真里跑 5 分钟看跟踪误差曲线再上真机。真机第一次飞把 Kp 设成仿真值的 0.7 倍留安全余量。气球跟踪这个方向标定和 PID 是两大玄学但只要把重投影误差压到 0.3 以下PID 从 P 开始慢慢加基本都能跑通。希望帮到你。本文还有配套的精品资源点击获取
无人机气球跟踪实战：YOLO+ROS 从标定到 PID 的完整闭环
简介这份资源面向计算机视觉、机器人开发方向的学习者与工程实践者提供一套基于YOLO与ROS的无人机气球目标跟踪系统完整实战包可用于理解实时目标检测与飞行控制如何协同工作。压缩包共188个文件约24.03MB以C与C源码为主体辅以CUDA加速文件、Python脚本、YAML配置、launch启动文件及msg消息定义另含少量图片与文档覆盖图像采集、检测推理、跟踪逻辑与无人机接口交互等模块。资源包含系统标定、数据预处理、目标检测与跟踪算法实现、实时反馈控制等关键环节的源码与流程教程并配有跟踪效果展示便于对照复现与二次开发。目前已有445人学习下载适合希望打通视觉感知与ROS应用链路、积累跨学科项目经验的开发者参考。1. 无人机气球跟踪YOLOROS 这套组合拳到底能解决什么气球飘在半空风一吹就变向颜色还经常和背景撞车——这是无人机视觉跟踪里最让人头疼的场景之一。我最初拿到「无人机目标跟踪-基于YOLOROS实现的无人机气球跟踪系统」这个方向时第一反应是检测器好找YOLO 预训练模型下载下来就能跑但真正难的是把检测结果稳定地喂给飞控让飞机自己追着气球走。这套系统要解决的核心问题就一个用机载摄像头实时检测气球通过 ROS 把目标位置转换成速度指令让无人机在不用 GPS 标签的情况下完成视觉伺服跟踪。适合谁有 Python 基础、摸过 ROS 基础概念、想找一个完整闭环项目练手的飞控或视觉方向从业者。标定、YOLO 推理、ROS 话题通信、PID 控制四个环节缺一不可任何一个环节的误差都会在飞行中放大成「飞机画龙」或者「跟丢目标」。下面我按实际落地顺序把每个环节的参数和坑拆开讲。2. 从相机标定到 YOLO 推理让像素坐标说人话2.1 相机标定为什么是跟踪系统的地基气球在图像里是一个像素坐标 (u, v)但飞控需要的是相机坐标系下的三维方向。没有标定你连焦距和畸变系数都不知道像素坐标转角度就是瞎猜。常见做法是用棋盘格标定板采集 15 到 20 张不同姿态的图像跑 OpenCV 的 calibrateCamera。我一般会特别注意两点标定板要占画面三分之一以上太小的标定板角点检测误差会直接污染内参采集时覆盖画面四个角和中心不要只在一个区域晃。标定完成后你会拿到内参矩阵 K 和畸变系数 D。对于气球跟踪畸变系数里的 k1、k2 影响最大因为气球经常出现在画面边缘径向畸变会让像素坐标偏移几十个像素。下面这段代码是标定和去畸变的完整流程import cv2 import numpy as np import glob # 棋盘格内角点数量这里用 9x6 pattern_size (9, 6) objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objpoints [] # 三维点 imgpoints [] # 二维点 images glob.glob(calib_images/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素级角点优化窗口大小 11x11 corners2 cv2.cornerSubPix( gray, corners, (11, 11), (-1, -1), criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) ) objpoints.append(objp) imgpoints.append(corners2) # 标定输出内参矩阵 mtx、畸变系数 dist ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(内参矩阵:\n, mtx) print(畸变系数:, dist.ravel()) # 去畸变newCameraMatrix 用 getOptimalNewCameraMatrix 自动裁剪 h, w gray.shape[:2] newcameramtx, roi cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h)) dst cv2.undistort(img, mtx, dist, None, newcameramtx) cv2.imwrite(undistorted.jpg, dst)逻辑说明findChessboardCorners 负责粗定位角点cornerSubPix 把精度推到亚像素级这一步不做的话重投影误差可能差 0.5 个像素以上。calibrateCamera 返回的 ret 是重投影误差我一般要求小于 0.3 像素超过 0.5 就重新采集。getOptimalNewCameraMatrix 的最后一个参数 alpha 设 1 会保留所有像素但边缘有黑边设 0 会裁剪掉黑边但丢失视野跟踪场景建议用 0.5 折中。参数方面标定板方格实际尺寸要量准比如 25mm 就写 0.025单位用米。畸变系数里 k3 对普通镜头影响很小但如果是广角镜头k3 不能忽略。标定完成后把 mtx 和 dist 存成 npz 文件推理时直接加载不要每次重新标。2.2 YOLO 模型选型与推理参数怎么定YOLO 版本迭代很快yolov11 目标跟踪在气球这种小目标上表现比 v8 稳但如果你手头只有 v8 的预训练模型也够用。关键不在版本在输入分辨率和置信度阈值。气球在 1080p 画面里可能只占 60x80 像素输入网络如果缩到 640气球就剩 30x40特征快没了。我一般把推理尺寸设成 960 或 1280代价是帧率下降但检测召回率能提 15% 以上。from ultralytics import YOLO import cv2 import numpy as np # 加载预训练模型这里以 yolov8n 为例实际可用 yolov11n model YOLO(yolov8n.pt) # 气球类别在 COCO 里没有需要用自定义数据集微调 # 推理时只保留气球类假设训练时类别 id 为 0 cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720) while True: ret, frame cap.read() if not ret: break # imgsz 设 960conf 设 0.35iou 设 0.5 results model(frame, imgsz960, conf0.35, iou0.5, verboseFalse) for r in results: boxes r.boxes for box in boxes: cls_id int(box.cls[0]) if cls_id ! 0: # 只关心气球类 continue x1, y1, x2, y2 box.xyxy[0].cpu().numpy() conf float(box.conf[0]) # 计算目标中心像素坐标 cx (x1 x2) / 2 cy (y1 y2) / 2 cv2.rectangle(frame, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) cv2.putText(frame, fballoon {conf:.2f}, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) cv2.imshow(YOLO, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()逻辑说明imgsz 是推理分辨率不是训练分辨率推理时可以独立调整。conf 阈值设 0.35 是经验值低于 0.3 误检会明显增多高于 0.5 容易漏掉远处的小气球。iou 阈值控制 NMS 的合并程度气球之间距离近的时候可以调到 0.6 避免漏检。verboseFalse 关掉每帧日志不然终端刷屏影响调试。如果你要自己训练气球检测模型数据量至少 500 张标注时框要贴紧气球边缘不要留太多背景。yolo 损失函数里分类损失和框回归损失的权重默认是平衡的但气球这种单一类别场景可以把分类损失权重调低让模型更关注框的位置精度。训练中 bn 崩溃通常是因为 batch size 太小设成 16 以上或者用梯度累积。2.3 像素坐标转相机坐标系的几何关系拿到气球中心像素坐标 (cx, cy) 后需要转换成相机坐标系下的方向向量。假设气球在相机前方忽略深度信息只求方向角import numpy as np def pixel_to_angle(cx, cy, mtx, img_w, img_h): # 去畸变后的归一化坐标 fx mtx[0, 0] fy mtx[1, 1] cx0 mtx[0, 2] cy0 mtx[1, 2] # 归一化平面坐标 x_norm (cx - cx0) / fx y_norm (cy - cy0) / fy # 水平角和垂直角单位弧度 yaw np.arctan(x_norm) pitch np.arctan(y_norm) return yaw, pitch逻辑说明fx、fy 是焦距的像素表示cx0、cy0 是主点。yaw 是水平偏角pitch 是垂直偏角。这个角度直接送给 ROS 里的控制节点作为速度指令的输入。注意这里假设相机光轴和机身前方对齐如果相机有安装偏角需要额外做手眼标定补偿。参数方面mtx 必须用去畸变后的新内参矩阵不要用原始标定矩阵否则边缘像素的角度会偏。如果气球在画面边缘yaw 可能超过 30 度这时候线性映射就不准了需要引入畸变模型做非线性校正。3. ROS 节点搭建把检测结果变成飞控能懂的速度指令3.1 话题设计检测节点和控制节点怎么通信ROS 里最直接的方式是检测节点发布一个自定义消息包含气球中心坐标、置信度和时间戳控制节点订阅后计算速度。消息定义如下# BalloonTarget.msg float32 cx float32 cy float32 conf float32 yaw float32 pitch std_msgs/Header header检测节点发布 /balloon_target控制节点订阅后结合高度和期望距离生成 /cmd_vel。这里有个关键点消息频率要和相机帧率匹配不要人为降频否则控制会有延迟。我一般把检测节点和控制节点放在同一台机载计算机上用共享内存通信延迟能压到 5ms 以内。# detector_node.py import rospy from balloon_tracker.msg import BalloonTarget from std_msgs.msg import Header import cv2 from ultralytics import YOLO rospy.init_node(balloon_detector) pub rospy.Publisher(/balloon_target, BalloonTarget, queue_size1) model YOLO(yolov8n.pt) cap cv2.VideoCapture(0) rate rospy.Rate(30) # 30Hz while not rospy.is_shutdown(): ret, frame cap.read() if not ret: continue results model(frame, imgsz960, conf0.35, verboseFalse) msg BalloonTarget() msg.header Header() msg.header.stamp rospy.Time.now() for r in results: for box in r.boxes: if int(box.cls[0]) ! 0: continue x1, y1, x2, y2 box.xyxy[0].cpu().numpy() msg.cx float((x1 x2) / 2) msg.cy float((y1 y2) / 2) msg.conf float(box.conf[0]) # 这里简化处理实际要调用 pixel_to_angle msg.yaw 0.0 msg.pitch 0.0 pub.publish(msg) break rate.sleep()逻辑说明queue_size1 保证只发最新消息避免控制节点处理旧数据。header.stamp 用 rospy.Time.now() 打时间戳控制节点可以用它做延迟补偿。break 只取置信度最高的一个目标气球跟踪场景一般只有一个目标多目标反而会干扰控制。参数方面rate 设 30Hz 对应相机 30fps如果相机是 60fps 可以设 60。imgsz 和 conf 与上一节一致。注意 rospy.Rate 的 sleep 会受系统调度影响实际频率可能略低可以用 rostopic hz 检查。3.2 PID 控制参数怎么调才不画龙控制节点收到 yaw 和 pitch 后用 PID 计算速度指令。yaw 控制偏航角速度pitch 控制前后速度。我一般先用 P 控制跑通再加 I 和 D。P 太大飞机会来回摆P 太小响应慢追不上气球。# controller_node.py import rospy from geometry_msgs.msg import Twist from balloon_tracker.msg import BalloonTarget rospy.init_node(balloon_controller) pub rospy.Publisher(/cmd_vel, Twist, queue_size1) # PID 参数 Kp_yaw 0.8 Ki_yaw 0.0 Kd_yaw 0.05 Kp_pitch 0.5 Ki_pitch 0.0 Kd_pitch 0.1 target_yaw 0.0 target_pitch 0.0 integral_yaw 0.0 integral_pitch 0.0 prev_error_yaw 0.0 prev_error_pitch 0.0 def callback(msg): global integral_yaw, integral_pitch, prev_error_yaw, prev_error_pitch error_yaw msg.yaw - target_yaw error_pitch msg.pitch - target_pitch integral_yaw error_yaw * 0.033 # 假设 30Hz integral_pitch error_pitch * 0.033 derivative_yaw (error_yaw - prev_error_yaw) / 0.033 derivative_pitch (error_pitch - prev_error_pitch) / 0.033 cmd Twist() cmd.angular.z Kp_yaw * error_yaw Ki_yaw * integral_yaw Kd_yaw * derivative_yaw cmd.linear.x Kp_pitch * error_pitch Ki_pitch * integral_pitch Kd_pitch * derivative_pitch pub.publish(cmd) prev_error_yaw error_yaw prev_error_pitch error_pitch rospy.Subscriber(/balloon_target, BalloonTarget, callback) rospy.spin()逻辑说明error_yaw 是目标偏角和当前偏角的差乘 Kp 得到角速度。Kd 抑制震荡Ki 消除稳态误差。气球跟踪场景 Ki 一般设 0因为气球在动积分项容易累积导致过冲。derivative 项对噪声敏感如果 yaw 抖动大可以加低通滤波。参数方面Kp_yaw 从 0.5 开始试每次加 0.1直到飞机能跟上气球但不震荡。Kd_yaw 从 0 开始加 0.02 观察是否减少震荡。Kp_pitch 控制前后速度太大飞机会冲过头太小追不上。我一般把 Kp_pitch 设成 Kp_yaw 的 0.6 倍左右。3.3 仿真验证不用真机也能跑通闭环真机飞之前先在 Gazebo 里跑一遍。ROS 的 gazebo_ros 包可以加载无人机模型和相机传感器把检测节点和控制节点接上看飞机能不能追上一个移动的气球模型。仿真里可以把气球设成正弦运动观察跟踪误差。# 启动 Gazebo 仿真环境 roslaunch balloon_tracker simulation.launch # 另开终端启动检测节点 rosrun balloon_tracker detector_node.py # 启动控制节点 rosrun balloon_tracker controller_node.py # 查看跟踪误差 rostopic echo /balloon_target rostopic echo /cmd_vel逻辑说明simulation.launch 里配置了无人机模型、相机插件和气球模型。detector_node 订阅相机图像controller_node 发布速度指令。rostopic echo 可以实时看消息内容判断检测是否稳定、控制是否合理。参数方面仿真里可以把相机分辨率设成 640x480 加快速度真机再用 1280x720。气球运动频率设 0.2Hz 到 0.5Hz太快了飞机跟不上。如果仿真里飞机画龙先调 Kd再调 Kp。4. 避坑与排查气球跟踪系统最常见的 5 个翻车现场4.1 标定重投影误差大角度全偏现象标定完 ret 值 0.8 以上去畸变后直线还是弯的。原因标定板图像太少或者姿态太单一角点检测不准。解决重新采集 20 张以上覆盖画面各个区域标定板倾斜角度至少 30 度。如果还不行换更大尺寸的标定板。4.2 YOLO 漏检远处小气球现象气球在画面里只有几十个像素YOLO 置信度低于 0.3 直接不输出。原因推理分辨率太低小目标特征丢失。解决把 imgsz 提到 1280conf 降到 0.25同时用自定义数据集微调模型增加小目标样本。4.3 ROS 话题延迟导致控制滞后现象飞机总是慢半拍气球已经变向飞机还在往旧方向飞。原因检测节点和控制节点频率不匹配或者消息队列积压。解决queue_size 设 1检测和控制频率一致用 rostopic hz 检查实际频率。如果延迟还是大把两个节点合并成一个进程。4.4 PID 参数震荡飞机画龙现象飞机左右摆越摆越大。原因Kp 太大或者 Kd 太小。解决先把 Kd 加到 Kp 的 0.1 倍观察震荡是否减弱。如果还摆Kp 降 20%。Ki 在气球跟踪里直接设 0不要开。4.5 相机安装偏角没补偿现象气球在画面正中心但飞机往偏方向飞。原因相机光轴和机身前方不重合yaw 有固定偏差。解决做手眼标定测出相机安装偏角在 pixel_to_angle 里减去这个偏角。简单方法是在飞机正前方放一个目标看检测输出的 yaw 是多少把这个值作为零偏存下来。5. 进阶技巧用光流辅助 YOLO 做丢失重捕YOLO 在气球被遮挡或者快速运动时容易丢帧一旦丢失控制节点收到不到消息就会悬停气球可能飘出视野。我一般加一个光流跟踪作为备份YOLO 检测到气球时用 Lucas-Kanade 光流跟踪气球上的特征点YOLO 丢失时光流继续输出目标位置给 YOLO 争取重检测的时间。import cv2 import numpy as np # 初始化光流参数 lk_params dict(winSize(21, 21), maxLevel3, criteria(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 30, 0.01)) # 在 YOLO 检测框内提取特征点 def extract_features(frame, bbox): x1, y1, x2, y2 bbox mask np.zeros(frame.shape[:2], np.uint8) mask[int(y1):int(y2), int(x1):int(x2)] 255 pts cv2.goodFeaturesToTrack( cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), maxCorners20, qualityLevel0.01, minDistance5, maskmask ) return pts # 光流跟踪 def track_optical_flow(prev_gray, gray, pts): new_pts, status, err cv2.calcOpticalFlowPyrLK(prev_gray, gray, pts, None, **lk_params) # 只保留跟踪成功的点 good_new new_pts[status 1] good_old pts[status 1] return good_new, good_old逻辑说明goodFeaturesToTrack 在 YOLO 框内找角点maxCorners 设 20 够用太多反而慢。calcOpticalFlowPyrLK 用金字塔光流winSize 21x21 适合中等运动速度。status 为 1 表示跟踪成功为 0 表示丢失。如果成功点少于 5 个就认为光流也丢了需要重新 YOLO 检测。参数方面qualityLevel 设 0.01 比较宽松能提取到更多点。minDistance 设 5 避免点太集中。maxLevel 设 3 对应金字塔层数运动快可以加到 4。光流跟踪的频率可以和 YOLO 一样也可以更高因为光流计算量小。验证方法在仿真里让气球做快速正弦运动观察 YOLO 丢失时光流能不能接上。如果光流也丢说明运动太快需要提高相机帧率或者降低气球速度。实际飞行时光流辅助能把丢失重捕时间从 200ms 降到 50ms 以内跟踪连续性明显提升。我自己的习惯是每次改完 PID 参数先在仿真里跑 5 分钟看跟踪误差曲线再上真机。真机第一次飞把 Kp 设成仿真值的 0.7 倍留安全余量。气球跟踪这个方向标定和 PID 是两大玄学但只要把重投影误差压到 0.3 以下PID 从 P 开始慢慢加基本都能跑通。希望帮到你。本文还有配套的精品资源点击获取
