简介基于Python和OpenCV实现的双目立体视觉图像匹配与测距课程设计资源包面向计算机视觉与图像处理方向的在校学生、毕业设计人员及开发者解决双目相机标定、SIFT与SURF特征提取匹配、视差深度计算和目标测距等关键问题。资源共213个文件约99.27MB包含bmp/png/jpg/jpeg图像样本、py源码、ui界面、xml配置及pdf/caj文档等图像样本用于实验数据源码对应标定、匹配与测距实现文档可作为课程设计报告参考。包内依托维视MV-VS220双目平台覆盖从图像采集、灰度化、二值化、加噪预处理到SIFT/SURF算法对比、深度信息解算与误差分析的完整流程并给出原型系统的演示与性能比较方法。已有1155人浏览学习适合需要完成课程设计、毕业设计或进行双目视觉实验的读者既能快速复用完整流程也能针对标定误差、匹配算法性能做进一步对比与研究。1. 双目立体视觉到底在解决什么问题从一对图像算出距离的本质做机器人避障或者工厂料位测量时单目相机往往只能告诉你“那里有东西”却说不清它离你多远。双目立体视觉换了个思路用两个固定相对位置的相机同时拍摄先找到同一个物体在左右两张图像中相差多少个像素这个对应关系就是图像匹配要解决的视差再用几何关系把像素差换算成实际距离。算法栈不深Python 加 OpenCV 就能把匹配和测距整套流程跑通硬件成本比激光雷达低得多。适合想快速搭一套可验证测距原型、同时把相机标定、极线校正、视差调参这些基本功练扎实的工程师。后面按落地顺序走坑点也一并交代。2. 标定与极线校正决定测距精度的第一道关卡2.1 为什么双目系统必须先标定内外参和畸变双目测距公式推导时默认相机是理想针孔模型两个相机光轴平行、成像平面共面现实里根本做不到。镜头有畸变焦距和主点跟标称值有偏差两个相机之间的旋转和平移量靠手工也量不准。不标定直接做匹配同一个目标在左右图里的对应点不在同一水平线上匹配窗口一歪视差就乱套了。常见做法是先用棋盘格标定板采集二十来对左右图像用 findChessboardCorners 提取角点再用 calibrateCamera 解出左右内参最后用 stereoCalibrate 解出两相机之间的 R 和 T。整个过程用 Python 加 OpenCV 就能完成不需要专门的标定箱。这地方有一个新手常踩的坑总觉得匹配算法的参数决定一切拿到相机先跑 StereoSGBM结果视差图一片花然后怀疑自己参数没调好。实际上多半是前面没做畸变校正和极线校正图像本身就歪着后面再怎么调也白搭。2.2 棋盘格角点采集样本筛选直接决定重投影误差标定结果的精度取决于输入样本的质量不是数量。我一般拍 20 到 25 对左右图分开存放文件名带序号保证左右配对。采集时让棋盘在画面里占 1/3 到 2/3 面积倾斜、旋转、远近都要覆盖尤其别总是把棋盘放在画面正中同一个姿势——那样内外参解出来是病态矩阵误差很大。import cv2 import numpy as np import glob CHECKERBOARD (9, 6) # 棋盘内角点个数10x7 格的板子就是 9x6 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-4) objp np.zeros((CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) objpoints, imgpoints_l, imgpoints_r [], [], [] for left_path, right_path in zip( sorted(glob.glob(calib/left/*.jpg)), sorted(glob.glob(calib/right/*.jpg))): img_l cv2.imread(left_path) img_r cv2.imread(right_path) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, CHECKERBOARD, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, CHECKERBOARD, None) if ret_l and ret_r: objpoints.append(objp) corners_l cv2.cornerSubPix(gray_l, corners_l, (11, 11), (-1, -1), criteria) corners_r cv2.cornerSubPix(gray_r, corners_r, (11, 11), (-1, -1), criteria) imgpoints_l.append(corners_l) imgpoints_r.append(corners_r)这里有三个容易忽略的细节。CHECKERBOARD 填的是内角点数目打印的棋盘若是 10x7 格内角点是 9x6填反了角点检测会一直失败。findChessboardCorners 在原始分辨率上找整数角点cornerSubPix 再在邻域内做亚像素迭代这一步能把角点精度从像素级拉到亚像素级直接影响后面 stereoCalibrate 的重投影误差。左右图通过 sorted 后的路径配对避免出现左 1 右 2 的错位。样本筛选的原则是宁可少而好不要为了凑数把反光、棋盘占太小的样本塞进去。每张图确认角点全在画面里如果板子只剩一半直接删掉这组数据。重投影误差偏高时我首先怀疑的不是算法而是某几张图的角点提取出了问题。2.3 stereoCalibrate 到 stereoRectify把两路图像拉成共面角点收齐后进入标定主流程。建议先用同一批角点分别跑一次单目 calibrateCamera拿到左右相机各自的初始内参再用 stereoCalibrate 联合优化外参ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, K1_init, D1_init, K2_init, D2_init, (gray_l.shape[1], gray_l.shape[0]), criteriacriteria, flagscv2.CALIB_FIX_INTRINSIC) R1, R2, P1, P2, Q, _, _ cv2.stereoRectify( K1, D1, K2, D2, (gray_l.shape[1], gray_l.shape[0]), R, T, alpha0) map1_l, map2_l cv2.initUndistortRectifyMap( K1, D1, R1, P1, (gray_l.shape[1], gray_l.shape[0]), cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap( K2, D2, R2, P2, (gray_l.shape[1], gray_l.shape[0]), cv2.CV_32FC1) rect_l cv2.remap(img_l, map1_l, map2_l, cv2.INTER_LINEAR) rect_r cv2.remap(img_r, map1_r, map2_r, cv2.INTER_LINEAR)stereoCalibrate 里的 RMSEret是重投影误差通常压到 0.5 以下就算可用追求 0.3 以内也完全做得到。这里用 CALIB_FIX_INTRINSIC 固定左右内参、只优化外参迭代又快又稳。Q 矩阵在 stereoRectify 的输出里第 4 行第 3 列藏着基线信息reprojectImageTo3D 会用它把视差换算成深度不需要手工再去算基线。alpha 参数也要说清楚alpha0 会裁剪掉畸变校正后的边缘无效区域alpha1 保留完整视野但四周出现黑边。测距场景我一般用 0因为图像外圈本来就没有有效深度。remap 生成的映射表可以提前算好存成 npz实时视频里每帧只做查表重映射能省下一笔不小的 CPU 开销。校正完怎么验证把左右图水平拼接后画一条白色水平线看同一个棋盘角点在两幅图上是否落在同一行。如果还有几个像素的偏差说明角点精度不够或样本姿态太单一先回头补数据不要急着跑匹配。3. 立体匹配核心SGBM 参数与视差图生成3.1 匹配算法选型BM、SGBM 和半全局的取舍极线校正之后同名点在左右图上已经处于同一行剩下的事情就是沿着这一行找对应点。OpenCV 里最常见的匹配算法是 BMBlock Matching和 SGBMSemi-Global Block Matching。BM 快但每个像素独立求代价纹理少的地方容易出现水平条状错误SGBM 在 BM 基础上增加了多方向路径代价聚合对弱纹理区域和重复纹理的压制明显更好多花的那点耗时在大多数工业场景里可以接受。还有一类基于深度学习的立体匹配网络精度高但需要 GPU、数据集和训练落地成本高。做 Python 加 OpenCV 这套方案SGBM 是性价比之王不需要额外模型文件所有参数都摊在明面上可调。3.2 最小可运行的 SGBM 匹配代码把校正后的左图右图喂给 StereoSGBM_create 就行import cv2 # rect_l、rect_r 是校正后的 8 位灰度图 stereo cv2.StereoSGBM_create( minDisparity0, numDisparities128, blockSize11, P18 * 3 * 11 * 11, P232 * 3 * 11 * 11, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32, modecv2.STEREO_SGBM_MODE_SGBM) disp_raw stereo.compute(rect_l, rect_r) disparity disp_raw.astype(np.float32) / 16.0compute 返回的是定点数视差内部放大了 16 倍所以必须除以 16 转成真正的浮点视差。minDisparity 通常设为 0若你知道目标最近距离对应的视差上限可以设成正数缩小搜索范围。mode 用 STEREO_SGBM_MODE_SGBM 是经典半全局MODE_HH 更慢但更精细实时场景一般不用 HH。拿到视差后还要做一步可视化确认disp_vis cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX) disp_vis cv2.applyColorMap(disp_vis.astype(np.uint8), cv2.COLORMAP_JET) cv2.imshow(disp, disp_vis)注意SGBM 的输入必须是单通道灰度图。有些人在彩色图上直接跑 compute先崩在通道数上转灰度后还要确认类型是 uint8否则 compute 内部会做一次隐式转换效果不可控。3.3 四个必调参数numDisparities、blockSize、P1/P2、uniquenessRatio这部分是匹配质量的血泪经验参数彼此牵制按影响顺序讲。numDisparities 是视差搜索范围必须是 16 的倍数。范围越小速度越快但如果目标实际视差超出范围远处物体的视差会被强行截断深度直接错掉。一般从 128 起步近距离场景可以拉到 192 甚至 256。这个参数和最小工作距离强相关相机离物体越近视差越大需要的 numDisparities 越大。blockSize 是匹配窗口边长必须是奇数。窗口越大纹理不足区域越稳定但边缘越模糊小目标会被窗口淹没。通常从 7 到 15 之间试11 是常见起点。这地方容易产生“窗口越大越好”的误解——对测距来说边缘精度比平滑性更重要窗口太大目标边缘的视差被背景拉偏测出来的距离会在边界处突然跳变。P1/P2 是平滑惩罚项。P1 是相邻像素视差变化 1 个像素的惩罚P2 是大跳变惩罚P2 通常取 P1 的 4 到 8 倍。值太大视差图过度平滑细节被抹掉值太小噪声点一片一片。经验公式是 P18通道数blockSize²P232通道数blockSize²这里的通道数按 3 算很多 OpenCV 示例也这么用实际按 1 算会更宽松。如果你要测的目标边缘锐利、距离突变明显把 P2 适当调低是有意义的。uniquenessRatio 控制左右一致性检查的比率通常取 5 到 15。值越高匹配越苛刻误匹配少但空洞多值太低误匹配噪声混进视差图。实际场景里 10 是个好起点若空洞太多降到 5若噪声明显提到 15。参数作用常用起点调参方向numDisparities视差搜索范围16 的倍数128近距离调大远距离可调小blockSize匹配窗口边长奇数11纹理弱调大边缘要求高调小P1/P2平滑惩罚系数P18*3*blockSize²P232*3*blockSize²目标距离突变强调低 P2uniquenessRatio匹配唯一性门槛10空洞多调低噪点多调高调参顺序我习惯先固定 numDisparities 和 blockSize把 P1/P2 与 uniquenessRatio 这对组合调顺再回来微调窗口大小。每次只动一个参数观察视差图在目标边缘和弱纹理区域的变化效率最高。4. 从视差到实际距离三角测量与 Q 矩阵落地4.1 视差与深度的反比关系Z fB/d双目测距公式是三件套Z f * B / d。f 是像素焦距B 是两相机光心距离基线d 是视差像素数。目标离得越近在左右图上相差的像素越多视差越大。公式里视差在分母上意味着深度分辨率随距离快速下降3 米处视差变化 1 个像素深度可能变动十几厘米10 米处可能变动一米多。所以摄像头的分辨率、基线长度共同决定了有效测距范围不是软件能凭空拉出来的。这里常被问到一个问题能不能用单目测距替代单目要靠已知目标尺寸或地面平面约束来反推环境一变就不稳双目不依赖目标先验只要匹配找得到对应点就能算距离。超声波测距和激光测距也能做但超声波只能测一个点或一个锥面双目能给整幅图的深度应用场景不太一样谈不上谁完全替代谁。4.2 用 reprojectImageTo3D 把视差图变成三维坐标Q 矩阵在 stereoRectify 时已经拿到直接调 reprojectImageTo3Dpoints_3d cv2.reprojectImageTo3D(disparity, Q) x, y 300, 200 # OpenCV 里坐标顺序是 (y, x) X points_3d[y, x, 0] Y points_3d[y, x, 1] Z points_3d[y, x, 2] print(fZ distance: {Z:.3f} m)传给 reprojectImageTo3D 的视差必须是 float32并且是真实视差值不是定点放大的那个数。返回的 points_3d 是 HxWx3 数组最后一维依次是 X、Y、ZZ 就是相机坐标系下沿光轴的距离。无效视差通常会是 0 或负值reprojectImageTo3D 会算出离谱的坐标测距前要把这些点筛掉valid (disparity 0) (disparity 200) mask valid.astype(np.uint8) * 255还有个容易被忽略的细节这里的距离是光轴方向距离不是目标到相机的直线欧氏距离。目标偏在画面边缘时欧氏距离会明显大于 Z 值。很多避障项目要的其实是 Z 方向距离判断正前方障碍就够了如果需求写的是直线距离那就要对 X、Y、Z 求模再输出。4.3 有效测距范围的估算基线、分辨率与误差墙有效距离不能拍脑袋定。最直接的方法是放一组已知距离的标尺目标从近到远各测一遍误差超过项目阈值的位置就是上限。经验上基线越长近距盲区越大但远距精度越好基线太短近距离表现好但远距分辨率差。普通 USB 双目模组基线 60 到 120 毫米、分辨率 1280x720 时1 到 3 米内做到厘米级误差是常见的再远到 5 米以上就要看匹配质量了。你要提前估算配置够不够用可以用这个式子δZ ≈ Z² / (f * B) * δd。δd 是视差误差的像素数。举个例子f800B0.12 米Z5 米视差误差取 0.5 像素那 δZ 就是 5² / (800 * 0.12) * 0.5约 0.13 米。这个计算能让你在动手做外壳之前就知道 5 米测距稳不稳而不是等系统装完了才发现远距离全是噪声。5. 避坑清单双目测距常见的 5 个翻车现场与排查方法5.1 左右图像亮度不一致匹配一片空洞现象视差图在某个区域大面积黑色尤其是强光照半边脸的那类场景。原因SGBM 代价计算基于灰度梯度左右图曝光差异大时同一点的匹配代价整体偏高代价聚合后最小值不明显被判为无效。解决先把左右图做直方图均衡或者用高光抑制让两路亮度分布接近。更彻底的办法是硬件上统一两个相机的曝光时间和增益采集时固定自动曝光参数不要让两个相机各自处在自动调节状态。我自己习惯在采集端设曝光值锁存软件端再补一层 CLAHE双保险。5.2 重投影误差 0.3 以内测距结果依然偏现象标定 RMS 降到 0.3 甚至 0.2视差图看起来正常但测出来的距离整体系统性偏近或偏远。原因重投影误差反映的是角点反投影的像素精度不等于深度精度。深度误差还受基线、焦距标定值和真实值之间偏差的影响尤其是基线标不准则误差会随距离线性放大。解决做一个尺寸精确的标尺目标在已知距离下测一组数据看有没有固定比例偏差。有的话微调 Q 矩阵里基线的相关项或者用最小二乘拟合出一条误差修正曲线。这类系统误差只靠追求更低的重投影误差是压不下来的。5.3 视差图出现横向条纹和重影现象视差图上有密集的横线目标边缘出现一条条平行的残影。原因极线校正不到位同名点行方向有残留偏差或者匹配窗口太宽低纹理区域代价聚合产生阶梯效应。解决先用第 2.3 的拼接验证方式确认校正后 y 坐标一致再把 blockSize 调小条纹大概率是窗口偏大在边缘上拖出来的。若这两个办法都没用检查左右相机是否有垂直方向的机械错位必要时把 stereoRectify 重新跑一遍alpha 用 0 重新生成映射表。5.4 近距离目标测出来偏远现象30 厘米处的物体测出来变成 50 厘米反复调 numDisparities 也差不离。原因近距离视差大且视差突变也大SGBM 的平滑惩罚 P2 把陡峭的视差边界压平了相当于模糊了距离突变导致边缘和内部深度拖向背景。解决降低 P2给视差突变更大自由度同时把 numDisparities 调大确保搜索范围覆盖近距的视差上限。近距测距场景我会把 P2 从 P1 的 8 倍降到 4 倍试效果往往立竿见影。5.5 实时视频流测距卡顿明显现象单张图调试一切正常一接入摄像头画面帧率掉到只有几帧。原因逐帧做 remap 加 SGBM 加 reprojectImageTo3D 全量计算而 SGBM 的复杂度跟图像尺寸和 numDisparities 线性相关。解决降低处理分辨率保持宽高比缩到 640 或 720 宽把 remap 映射表预先算好存内存不要在每帧里重新生成numDisparities 按实际场景收紧。还不够的话把取图和计算拆到两个线程取图线程只负责读帧计算线程处理最新的那一帧。我一般还会在处理前加一个 ROI只对目标区域做完整匹配帧率能明显上来。6. 把误差再压一压亚像素细化、置信度过滤与验证方法6.1 视差图后处理中值滤波与空洞填充SGBM 出的原始视差图通常带椒盐噪声和空洞先用 5x5 中值滤波把孤立噪点去掉再用 filterSpeckles 剔除小连通域误匹配disp_raw stereo.compute(rect_l, rect_r) # int16 定点视差 disp_raw, _ cv2.filterSpeckles(disp_raw, 0, 100, 32) disparity disp_raw.astype(np.float32) / 16.0 disparity cv2.medianBlur(disparity, 5)空洞区域不要用全局均值硬填。近距离物体边缘的空洞可以按邻域有效视差的中值补上也就是先做膨胀再按有效像素取局部中值。filterSpeckles 里的 100 是最大斑点面积32 是斑点内允许的视差波动这两个值适配中等分辨率分辨率更高时可以适当放大。6.2 亚像素细化与置信度过滤SGBM 输出的视差是整数级直接用于远距离测距时波动较大。用最小二乘拟合二次曲线取极值可以把视差插值到亚像素级OpenCV 没有内置接口但几行代码就能自己写。另一个实用技巧是结合 uniquenessRatio 做置信度过滤代价分布太扁平的像素匹配结果本来就是猜的把这些点置为无效比硬算一堆错误距离更有意义。6.3 落地验证方法最后验证方式在固定距离上放一张清晰纹理的标尺拍 20 帧统计距离均值、方差算出重复性精度和绝对误差。我习惯把每一帧测距结果连同视差统计写进 CSV后面追问题时有数据可查。双目测距这套东西参数是死的场景是活的真正靠谱的边界一定是用真实目标量出来的。我自己每次项目验收前都会做一轮“换距离、换光照、换目标”的三件套测试测距系统水很深参数玄学多但校准和验证做到位结果基本可控希望帮到你。本文还有配套的精品资源点击获取
双目立体视觉测距实战：从标定到SGBM匹配的完整技术指南
简介基于Python和OpenCV实现的双目立体视觉图像匹配与测距课程设计资源包面向计算机视觉与图像处理方向的在校学生、毕业设计人员及开发者解决双目相机标定、SIFT与SURF特征提取匹配、视差深度计算和目标测距等关键问题。资源共213个文件约99.27MB包含bmp/png/jpg/jpeg图像样本、py源码、ui界面、xml配置及pdf/caj文档等图像样本用于实验数据源码对应标定、匹配与测距实现文档可作为课程设计报告参考。包内依托维视MV-VS220双目平台覆盖从图像采集、灰度化、二值化、加噪预处理到SIFT/SURF算法对比、深度信息解算与误差分析的完整流程并给出原型系统的演示与性能比较方法。已有1155人浏览学习适合需要完成课程设计、毕业设计或进行双目视觉实验的读者既能快速复用完整流程也能针对标定误差、匹配算法性能做进一步对比与研究。1. 双目立体视觉到底在解决什么问题从一对图像算出距离的本质做机器人避障或者工厂料位测量时单目相机往往只能告诉你“那里有东西”却说不清它离你多远。双目立体视觉换了个思路用两个固定相对位置的相机同时拍摄先找到同一个物体在左右两张图像中相差多少个像素这个对应关系就是图像匹配要解决的视差再用几何关系把像素差换算成实际距离。算法栈不深Python 加 OpenCV 就能把匹配和测距整套流程跑通硬件成本比激光雷达低得多。适合想快速搭一套可验证测距原型、同时把相机标定、极线校正、视差调参这些基本功练扎实的工程师。后面按落地顺序走坑点也一并交代。2. 标定与极线校正决定测距精度的第一道关卡2.1 为什么双目系统必须先标定内外参和畸变双目测距公式推导时默认相机是理想针孔模型两个相机光轴平行、成像平面共面现实里根本做不到。镜头有畸变焦距和主点跟标称值有偏差两个相机之间的旋转和平移量靠手工也量不准。不标定直接做匹配同一个目标在左右图里的对应点不在同一水平线上匹配窗口一歪视差就乱套了。常见做法是先用棋盘格标定板采集二十来对左右图像用 findChessboardCorners 提取角点再用 calibrateCamera 解出左右内参最后用 stereoCalibrate 解出两相机之间的 R 和 T。整个过程用 Python 加 OpenCV 就能完成不需要专门的标定箱。这地方有一个新手常踩的坑总觉得匹配算法的参数决定一切拿到相机先跑 StereoSGBM结果视差图一片花然后怀疑自己参数没调好。实际上多半是前面没做畸变校正和极线校正图像本身就歪着后面再怎么调也白搭。2.2 棋盘格角点采集样本筛选直接决定重投影误差标定结果的精度取决于输入样本的质量不是数量。我一般拍 20 到 25 对左右图分开存放文件名带序号保证左右配对。采集时让棋盘在画面里占 1/3 到 2/3 面积倾斜、旋转、远近都要覆盖尤其别总是把棋盘放在画面正中同一个姿势——那样内外参解出来是病态矩阵误差很大。import cv2 import numpy as np import glob CHECKERBOARD (9, 6) # 棋盘内角点个数10x7 格的板子就是 9x6 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-4) objp np.zeros((CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) objpoints, imgpoints_l, imgpoints_r [], [], [] for left_path, right_path in zip( sorted(glob.glob(calib/left/*.jpg)), sorted(glob.glob(calib/right/*.jpg))): img_l cv2.imread(left_path) img_r cv2.imread(right_path) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, CHECKERBOARD, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, CHECKERBOARD, None) if ret_l and ret_r: objpoints.append(objp) corners_l cv2.cornerSubPix(gray_l, corners_l, (11, 11), (-1, -1), criteria) corners_r cv2.cornerSubPix(gray_r, corners_r, (11, 11), (-1, -1), criteria) imgpoints_l.append(corners_l) imgpoints_r.append(corners_r)这里有三个容易忽略的细节。CHECKERBOARD 填的是内角点数目打印的棋盘若是 10x7 格内角点是 9x6填反了角点检测会一直失败。findChessboardCorners 在原始分辨率上找整数角点cornerSubPix 再在邻域内做亚像素迭代这一步能把角点精度从像素级拉到亚像素级直接影响后面 stereoCalibrate 的重投影误差。左右图通过 sorted 后的路径配对避免出现左 1 右 2 的错位。样本筛选的原则是宁可少而好不要为了凑数把反光、棋盘占太小的样本塞进去。每张图确认角点全在画面里如果板子只剩一半直接删掉这组数据。重投影误差偏高时我首先怀疑的不是算法而是某几张图的角点提取出了问题。2.3 stereoCalibrate 到 stereoRectify把两路图像拉成共面角点收齐后进入标定主流程。建议先用同一批角点分别跑一次单目 calibrateCamera拿到左右相机各自的初始内参再用 stereoCalibrate 联合优化外参ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, K1_init, D1_init, K2_init, D2_init, (gray_l.shape[1], gray_l.shape[0]), criteriacriteria, flagscv2.CALIB_FIX_INTRINSIC) R1, R2, P1, P2, Q, _, _ cv2.stereoRectify( K1, D1, K2, D2, (gray_l.shape[1], gray_l.shape[0]), R, T, alpha0) map1_l, map2_l cv2.initUndistortRectifyMap( K1, D1, R1, P1, (gray_l.shape[1], gray_l.shape[0]), cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap( K2, D2, R2, P2, (gray_l.shape[1], gray_l.shape[0]), cv2.CV_32FC1) rect_l cv2.remap(img_l, map1_l, map2_l, cv2.INTER_LINEAR) rect_r cv2.remap(img_r, map1_r, map2_r, cv2.INTER_LINEAR)stereoCalibrate 里的 RMSEret是重投影误差通常压到 0.5 以下就算可用追求 0.3 以内也完全做得到。这里用 CALIB_FIX_INTRINSIC 固定左右内参、只优化外参迭代又快又稳。Q 矩阵在 stereoRectify 的输出里第 4 行第 3 列藏着基线信息reprojectImageTo3D 会用它把视差换算成深度不需要手工再去算基线。alpha 参数也要说清楚alpha0 会裁剪掉畸变校正后的边缘无效区域alpha1 保留完整视野但四周出现黑边。测距场景我一般用 0因为图像外圈本来就没有有效深度。remap 生成的映射表可以提前算好存成 npz实时视频里每帧只做查表重映射能省下一笔不小的 CPU 开销。校正完怎么验证把左右图水平拼接后画一条白色水平线看同一个棋盘角点在两幅图上是否落在同一行。如果还有几个像素的偏差说明角点精度不够或样本姿态太单一先回头补数据不要急着跑匹配。3. 立体匹配核心SGBM 参数与视差图生成3.1 匹配算法选型BM、SGBM 和半全局的取舍极线校正之后同名点在左右图上已经处于同一行剩下的事情就是沿着这一行找对应点。OpenCV 里最常见的匹配算法是 BMBlock Matching和 SGBMSemi-Global Block Matching。BM 快但每个像素独立求代价纹理少的地方容易出现水平条状错误SGBM 在 BM 基础上增加了多方向路径代价聚合对弱纹理区域和重复纹理的压制明显更好多花的那点耗时在大多数工业场景里可以接受。还有一类基于深度学习的立体匹配网络精度高但需要 GPU、数据集和训练落地成本高。做 Python 加 OpenCV 这套方案SGBM 是性价比之王不需要额外模型文件所有参数都摊在明面上可调。3.2 最小可运行的 SGBM 匹配代码把校正后的左图右图喂给 StereoSGBM_create 就行import cv2 # rect_l、rect_r 是校正后的 8 位灰度图 stereo cv2.StereoSGBM_create( minDisparity0, numDisparities128, blockSize11, P18 * 3 * 11 * 11, P232 * 3 * 11 * 11, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32, modecv2.STEREO_SGBM_MODE_SGBM) disp_raw stereo.compute(rect_l, rect_r) disparity disp_raw.astype(np.float32) / 16.0compute 返回的是定点数视差内部放大了 16 倍所以必须除以 16 转成真正的浮点视差。minDisparity 通常设为 0若你知道目标最近距离对应的视差上限可以设成正数缩小搜索范围。mode 用 STEREO_SGBM_MODE_SGBM 是经典半全局MODE_HH 更慢但更精细实时场景一般不用 HH。拿到视差后还要做一步可视化确认disp_vis cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX) disp_vis cv2.applyColorMap(disp_vis.astype(np.uint8), cv2.COLORMAP_JET) cv2.imshow(disp, disp_vis)注意SGBM 的输入必须是单通道灰度图。有些人在彩色图上直接跑 compute先崩在通道数上转灰度后还要确认类型是 uint8否则 compute 内部会做一次隐式转换效果不可控。3.3 四个必调参数numDisparities、blockSize、P1/P2、uniquenessRatio这部分是匹配质量的血泪经验参数彼此牵制按影响顺序讲。numDisparities 是视差搜索范围必须是 16 的倍数。范围越小速度越快但如果目标实际视差超出范围远处物体的视差会被强行截断深度直接错掉。一般从 128 起步近距离场景可以拉到 192 甚至 256。这个参数和最小工作距离强相关相机离物体越近视差越大需要的 numDisparities 越大。blockSize 是匹配窗口边长必须是奇数。窗口越大纹理不足区域越稳定但边缘越模糊小目标会被窗口淹没。通常从 7 到 15 之间试11 是常见起点。这地方容易产生“窗口越大越好”的误解——对测距来说边缘精度比平滑性更重要窗口太大目标边缘的视差被背景拉偏测出来的距离会在边界处突然跳变。P1/P2 是平滑惩罚项。P1 是相邻像素视差变化 1 个像素的惩罚P2 是大跳变惩罚P2 通常取 P1 的 4 到 8 倍。值太大视差图过度平滑细节被抹掉值太小噪声点一片一片。经验公式是 P18通道数blockSize²P232通道数blockSize²这里的通道数按 3 算很多 OpenCV 示例也这么用实际按 1 算会更宽松。如果你要测的目标边缘锐利、距离突变明显把 P2 适当调低是有意义的。uniquenessRatio 控制左右一致性检查的比率通常取 5 到 15。值越高匹配越苛刻误匹配少但空洞多值太低误匹配噪声混进视差图。实际场景里 10 是个好起点若空洞太多降到 5若噪声明显提到 15。参数作用常用起点调参方向numDisparities视差搜索范围16 的倍数128近距离调大远距离可调小blockSize匹配窗口边长奇数11纹理弱调大边缘要求高调小P1/P2平滑惩罚系数P18*3*blockSize²P232*3*blockSize²目标距离突变强调低 P2uniquenessRatio匹配唯一性门槛10空洞多调低噪点多调高调参顺序我习惯先固定 numDisparities 和 blockSize把 P1/P2 与 uniquenessRatio 这对组合调顺再回来微调窗口大小。每次只动一个参数观察视差图在目标边缘和弱纹理区域的变化效率最高。4. 从视差到实际距离三角测量与 Q 矩阵落地4.1 视差与深度的反比关系Z fB/d双目测距公式是三件套Z f * B / d。f 是像素焦距B 是两相机光心距离基线d 是视差像素数。目标离得越近在左右图上相差的像素越多视差越大。公式里视差在分母上意味着深度分辨率随距离快速下降3 米处视差变化 1 个像素深度可能变动十几厘米10 米处可能变动一米多。所以摄像头的分辨率、基线长度共同决定了有效测距范围不是软件能凭空拉出来的。这里常被问到一个问题能不能用单目测距替代单目要靠已知目标尺寸或地面平面约束来反推环境一变就不稳双目不依赖目标先验只要匹配找得到对应点就能算距离。超声波测距和激光测距也能做但超声波只能测一个点或一个锥面双目能给整幅图的深度应用场景不太一样谈不上谁完全替代谁。4.2 用 reprojectImageTo3D 把视差图变成三维坐标Q 矩阵在 stereoRectify 时已经拿到直接调 reprojectImageTo3Dpoints_3d cv2.reprojectImageTo3D(disparity, Q) x, y 300, 200 # OpenCV 里坐标顺序是 (y, x) X points_3d[y, x, 0] Y points_3d[y, x, 1] Z points_3d[y, x, 2] print(fZ distance: {Z:.3f} m)传给 reprojectImageTo3D 的视差必须是 float32并且是真实视差值不是定点放大的那个数。返回的 points_3d 是 HxWx3 数组最后一维依次是 X、Y、ZZ 就是相机坐标系下沿光轴的距离。无效视差通常会是 0 或负值reprojectImageTo3D 会算出离谱的坐标测距前要把这些点筛掉valid (disparity 0) (disparity 200) mask valid.astype(np.uint8) * 255还有个容易被忽略的细节这里的距离是光轴方向距离不是目标到相机的直线欧氏距离。目标偏在画面边缘时欧氏距离会明显大于 Z 值。很多避障项目要的其实是 Z 方向距离判断正前方障碍就够了如果需求写的是直线距离那就要对 X、Y、Z 求模再输出。4.3 有效测距范围的估算基线、分辨率与误差墙有效距离不能拍脑袋定。最直接的方法是放一组已知距离的标尺目标从近到远各测一遍误差超过项目阈值的位置就是上限。经验上基线越长近距盲区越大但远距精度越好基线太短近距离表现好但远距分辨率差。普通 USB 双目模组基线 60 到 120 毫米、分辨率 1280x720 时1 到 3 米内做到厘米级误差是常见的再远到 5 米以上就要看匹配质量了。你要提前估算配置够不够用可以用这个式子δZ ≈ Z² / (f * B) * δd。δd 是视差误差的像素数。举个例子f800B0.12 米Z5 米视差误差取 0.5 像素那 δZ 就是 5² / (800 * 0.12) * 0.5约 0.13 米。这个计算能让你在动手做外壳之前就知道 5 米测距稳不稳而不是等系统装完了才发现远距离全是噪声。5. 避坑清单双目测距常见的 5 个翻车现场与排查方法5.1 左右图像亮度不一致匹配一片空洞现象视差图在某个区域大面积黑色尤其是强光照半边脸的那类场景。原因SGBM 代价计算基于灰度梯度左右图曝光差异大时同一点的匹配代价整体偏高代价聚合后最小值不明显被判为无效。解决先把左右图做直方图均衡或者用高光抑制让两路亮度分布接近。更彻底的办法是硬件上统一两个相机的曝光时间和增益采集时固定自动曝光参数不要让两个相机各自处在自动调节状态。我自己习惯在采集端设曝光值锁存软件端再补一层 CLAHE双保险。5.2 重投影误差 0.3 以内测距结果依然偏现象标定 RMS 降到 0.3 甚至 0.2视差图看起来正常但测出来的距离整体系统性偏近或偏远。原因重投影误差反映的是角点反投影的像素精度不等于深度精度。深度误差还受基线、焦距标定值和真实值之间偏差的影响尤其是基线标不准则误差会随距离线性放大。解决做一个尺寸精确的标尺目标在已知距离下测一组数据看有没有固定比例偏差。有的话微调 Q 矩阵里基线的相关项或者用最小二乘拟合出一条误差修正曲线。这类系统误差只靠追求更低的重投影误差是压不下来的。5.3 视差图出现横向条纹和重影现象视差图上有密集的横线目标边缘出现一条条平行的残影。原因极线校正不到位同名点行方向有残留偏差或者匹配窗口太宽低纹理区域代价聚合产生阶梯效应。解决先用第 2.3 的拼接验证方式确认校正后 y 坐标一致再把 blockSize 调小条纹大概率是窗口偏大在边缘上拖出来的。若这两个办法都没用检查左右相机是否有垂直方向的机械错位必要时把 stereoRectify 重新跑一遍alpha 用 0 重新生成映射表。5.4 近距离目标测出来偏远现象30 厘米处的物体测出来变成 50 厘米反复调 numDisparities 也差不离。原因近距离视差大且视差突变也大SGBM 的平滑惩罚 P2 把陡峭的视差边界压平了相当于模糊了距离突变导致边缘和内部深度拖向背景。解决降低 P2给视差突变更大自由度同时把 numDisparities 调大确保搜索范围覆盖近距的视差上限。近距测距场景我会把 P2 从 P1 的 8 倍降到 4 倍试效果往往立竿见影。5.5 实时视频流测距卡顿明显现象单张图调试一切正常一接入摄像头画面帧率掉到只有几帧。原因逐帧做 remap 加 SGBM 加 reprojectImageTo3D 全量计算而 SGBM 的复杂度跟图像尺寸和 numDisparities 线性相关。解决降低处理分辨率保持宽高比缩到 640 或 720 宽把 remap 映射表预先算好存内存不要在每帧里重新生成numDisparities 按实际场景收紧。还不够的话把取图和计算拆到两个线程取图线程只负责读帧计算线程处理最新的那一帧。我一般还会在处理前加一个 ROI只对目标区域做完整匹配帧率能明显上来。6. 把误差再压一压亚像素细化、置信度过滤与验证方法6.1 视差图后处理中值滤波与空洞填充SGBM 出的原始视差图通常带椒盐噪声和空洞先用 5x5 中值滤波把孤立噪点去掉再用 filterSpeckles 剔除小连通域误匹配disp_raw stereo.compute(rect_l, rect_r) # int16 定点视差 disp_raw, _ cv2.filterSpeckles(disp_raw, 0, 100, 32) disparity disp_raw.astype(np.float32) / 16.0 disparity cv2.medianBlur(disparity, 5)空洞区域不要用全局均值硬填。近距离物体边缘的空洞可以按邻域有效视差的中值补上也就是先做膨胀再按有效像素取局部中值。filterSpeckles 里的 100 是最大斑点面积32 是斑点内允许的视差波动这两个值适配中等分辨率分辨率更高时可以适当放大。6.2 亚像素细化与置信度过滤SGBM 输出的视差是整数级直接用于远距离测距时波动较大。用最小二乘拟合二次曲线取极值可以把视差插值到亚像素级OpenCV 没有内置接口但几行代码就能自己写。另一个实用技巧是结合 uniquenessRatio 做置信度过滤代价分布太扁平的像素匹配结果本来就是猜的把这些点置为无效比硬算一堆错误距离更有意义。6.3 落地验证方法最后验证方式在固定距离上放一张清晰纹理的标尺拍 20 帧统计距离均值、方差算出重复性精度和绝对误差。我习惯把每一帧测距结果连同视差统计写进 CSV后面追问题时有数据可查。双目测距这套东西参数是死的场景是活的真正靠谱的边界一定是用真实目标量出来的。我自己每次项目验收前都会做一轮“换距离、换光照、换目标”的三件套测试测距系统水很深参数玄学多但校准和验证做到位结果基本可控希望帮到你。本文还有配套的精品资源点击获取
