1. 双目测距翻车现场你的精度到底丢在了哪个环节做双目视觉项目的朋友十个里有八个跟我吐槽过同一件事标定跑完了视差图也出来了点云看着像那么回事可一量实际距离误差动辄十几厘米甚至半米开外。更气人的是换一套参数重标一遍结果还是飘。问题往往不在算法而在最开始那一步——相机选型。双目测距的本质是一道几何题。两个相机光心之间的距离叫基线Baseline同一个物点在左右图像上的像素横坐标差叫视差Disparity深度 Z 与它们的关系是Z (f × B) / d其中 f 是焦距像素单位B 是基线d 是视差。这个公式看着简单但它决定了整个系统的精度天花板。对 Z 求导可以得到深度误差的传递关系ΔZ (Z² / (f × B)) × Δd这个式子才是选型的命根子。它告诉你三件事距离越远误差按平方增长焦距和基线越大误差越小视差本身的测量误差 Δd 直接线性放大到深度上。很多人选相机时只盯着分辨率完全忽略基线和焦距的匹配最后精度不达标是必然的。这篇内容适合正在做机器人避障、AGV 导航、工业三维测量、无人机定高、体积测量这类项目的工程师也适合刚接触 OpenCV 双目模块、准备自己搭一套测距系统的同学。我会把选型阶段最容易踩的坑一个个拆开讲包括基线怎么定、焦距怎么算、分辨率是不是越高越好、标定板怎么选、OpenCV 里哪些参数在偷偷吃掉你的精度。看完你至少能判断出自己项目里精度丢在了哪一环而不是盲目换硬件。2. 选型第一性原理从精度指标反推硬件参数2.1 先算清楚你需要多高的精度再谈选相机绝大多数人选相机的顺序是错的。他们先看预算再挑一款参数好看的相机买回来发现精度不够然后开始怀疑算法。正确的顺序是反过来的先明确工作距离范围和在该距离上允许的深度误差再反推需要的焦距、基线和分辨率。举个实际例子。假设你要做一个 0.5 米到 3 米工作距离的避障系统要求在 3 米处深度误差不超过 5 厘米。把 ΔZ 0.05m、Z 3m 代入公式ΔZ (Z² / (f × B)) × Δd 0.05 (9 / (f × B)) × Δd视差误差 Δd 通常取 0.1 到 0.5 像素取决于你的匹配算法和标定质量。假设你的立体匹配能做到 0.2 像素的亚像素精度那么f × B 9 × 0.2 / 0.05 36 (像素·米)如果基线选 60mm0.06m那么焦距 f 36 / 0.06 600 像素。如果基线选 120mm焦距只需要 300 像素。这就是基线和焦距的权衡关系——基线翻倍焦距可以减半但基线太大近距离盲区会变大。注意这里的 Δd 是视差误差不是深度误差。很多人把这两个概念搞混导致算出来的参数完全不对。视差误差来自立体匹配算法、图像噪声、标定残差是一个综合值经验上 0.1~0.5 像素是常见范围。2.2 基线距离不是越大越好盲区和体积是代价基线是双目系统里最关键的机械参数。基线越大同样距离下的视差越大深度分辨率越高。但基线增大会带来两个直接问题。第一是最小工作距离变大。双目相机的视场重叠区域随距离增加而扩大在很近的距离上两个相机可能根本看不到同一个物体。粗略估算如果相机水平视场角为 θ基线为 B那么两个相机视场完全重叠的最小距离约为D_min ≈ B / (2 × tan(θ/2))以 60mm 基线、60 度水平视场角为例D_min ≈ 0.06 / (2 × tan30°) ≈ 0.052m也就是 5 厘米左右这个近距离表现还不错。但如果基线拉到 200mmD_min 就变成约 17 厘米近距离避障就会出问题。第二是体积和安装刚度。基线越大两个相机之间的连接结构越长对机械刚度的要求越高。任何微小的形变都会改变基线而基线变化直接导致测距系统性偏差。我见过用 3D 打印件做 150mm 基线支架的项目温度一变、受力一抖标定参数就废了。实际选型时基线通常按工作距离的 1/10 到 1/20 来初选。工作距离 3 米基线 150mm 到 300mm 是合理区间工作距离 0.5 米基线 30mm 到 60mm 更合适。这个比例不是死规矩但能帮你快速圈定范围。2.3 焦距与视场角决定你能看到多大范围焦距决定了视场角。焦距越长视场越窄远处看得越清楚但近处覆盖范围小。工业上常用的是水平视场角 40 到 70 度的镜头。选焦距时要同时考虑两个约束一是工作距离上要能覆盖你需要的视野宽度二是要满足前面算出来的 f × B 乘积。视野宽度 W、工作距离 Z、焦距 f、传感器宽度 w 的关系是W (w × Z) / f假设你用 1/2.5 英寸传感器宽度约 5.7mm工作距离 3 米需要覆盖 2 米宽的视野f (5.7 × 3000) / 2000 8.55mm所以选 8mm 或 6mm 镜头比较合适。如果前面算出来需要 f × B 36基线 60mm 对应焦距 600 像素而 8mm 镜头在 3.45μm 像元上对应的像素焦距是 8000/3.45 ≈ 2319 像素远大于需求说明精度有富余可以适当减小基线或放宽精度要求。这里有个常见误区像素焦距和物理焦距不是一回事。OpenCV 标定出来的 fx、fy 是像素单位的焦距等于物理焦距除以像元尺寸。选镜头时看物理焦距算精度时用像素焦距两者要换算清楚。2.4 分辨率高分辨率不等于高精度很多人觉得 2000 万像素肯定比 200 万像素测得准这是典型的误解。分辨率影响的是视差的量化精度和匹配的稳定性但深度精度主要由 f × B 决定。高分辨率的好处是同样的物理视场下每个像素代表的实际尺寸更小亚像素匹配的绝对精度更高。但坏处也很明显图像数据量大立体匹配计算量按像素数平方增长帧率上不去高分辨率下噪声和暗电流问题更突出反而可能降低匹配质量。我的经验是对于 3 米以内的测距200 万到 500 万像素如 1920×1080 或 1280×960完全够用。真正需要高分辨率的是远距离小目标测量比如 10 米外测几厘米的物体那才需要上千万像素配合长焦。还有一个容易被忽略的参数是全局快门还是卷帘快门。动态场景下必须用全局快门否则运动物体在左右图像上的曝光时刻不同视差计算直接崩掉。静态测量用卷帘快门可以省钱但一旦有振动或运动精度就没法保证。3. 标定环节的隐形杀手参数对了精度还是差3.1 标定板选型与拍摄策略标定是双目系统的地基。地基没打好后面算法再优化都是白费。标定板的选择有几个硬指标。棋盘格标定板是最常用的但很多人随便打印一张 A4 纸就开干这是精度杀手。打印的棋盘格边缘模糊、平面度差角点检测精度可能只有 0.3 到 0.5 像素。建议用氧化铝或玻璃基底的标定板平面度控制在微米级棋盘格对比度高、边缘锐利角点检测能稳定在 0.1 像素以内。标定板尺寸要和视场匹配。经验规则是标定板占据图像的 1/3 到 1/2 宽度比较合适。太小了角点少约束不足太大了边缘畸变严重反而引入误差。拍摄策略上我总结了一个“三三制”原则至少 15 到 20 组图像覆盖左中右三个横向区域、上中下三个纵向区域、远近三个距离层次。标定板在每个位置要有不同的倾斜角度俯仰和偏航各变化 ±30 度左右。很多人只在一个平面上平移标定板这样标定出来的畸变系数和基线都不准。实操心得标定时把相机固定好移动标定板而不是移动相机。相机一动两个相机的相对位姿就变了标定白做。另外标定过程中要保证光照均匀避免标定板上有反光或阴影这些都会让角点检测偏移。3.2 OpenCV 标定流程与关键参数OpenCV 的双目标定流程大致是单目标定得到各自内参再用 stereoCalibrate 做双目标定得到外参。核心代码结构如下import cv2 import numpy as np # 棋盘格内角点数 pattern_size (9, 6) objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) # 收集角点 objpoints [] imgpoints_l [] imgpoints_r [] for img_l, img_r in image_pairs: gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, pattern_size, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, pattern_size, None) if ret_l and ret_r: corners_l cv2.cornerSubPix(gray_l, corners_l, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) corners_r cv2.cornerSubPix(gray_r, corners_r, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) objpoints.append(objp) imgpoints_l.append(corners_l) imgpoints_r.append(corners_r) # 双目标定 ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, None, None, None, None, gray_l.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC, criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-5) )这里有几个关键点。cornerSubPix的窗口大小 (11,11) 是经验值图像噪声大时可以适当增大但太大会把邻近角点也框进来。stereoCalibrate的 flags 如果先用单目标定得到了内参建议用CALIB_FIX_INTRINSIC固定内参只优化外参这样更稳定。如果内参也一起优化容易过拟合。标定完成后重投影误差RMS是判断标定质量的核心指标。好的标定 RMS 应该在 0.1 到 0.3 像素之间。如果超过 0.5 像素说明标定图像质量有问题需要重新拍。我见过 RMS 到 1.5 像素还在用的测距误差能到几十厘米。3.3 极线校正别让畸变偷走你的精度标定完得到内外参后要用stereoRectify做极线校正让左右图像的对应点在同一水平线上。这一步直接决定了立体匹配的搜索范围。R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( K1, D1, K2, D2, image_size, R, T, alpha0, flagscv2.CALIB_ZERO_DISPARITY ) map1_l, map2_l cv2.initUndistortRectifyMap(K1, D1, R1, P1, image_size, cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap(K2, D2, R2, P2, image_size, cv2.CV_32FC1)alpha0表示校正后只保留有效像素图像边缘会被裁掉alpha1保留所有像素但会有黑边。做测距建议用alpha0避免黑边区域参与匹配产生错误视差。Q矩阵是重投影矩阵用reprojectImageTo3D把视差图转成三维点云时要用到它。Q 矩阵里的参数直接来自标定结果如果标定不准Q 矩阵就是错的点云整体会扭曲。常见坑很多人标定完直接拿原始图像做匹配忘了做remap校正。这样左右图像的极线不平行匹配搜索必须用二维搜索不仅慢而且错误匹配率极高。校正后只需要一维水平搜索效率和精度都大幅提升。4. 立体匹配与后处理算法层面的精度保卫战4.1 SGBM 参数调优实战OpenCV 里最常用的立体匹配算法是StereoSGBM。它的参数多调起来让人头大但每个参数都有明确的物理意义。stereo cv2.StereoSGBM_create( minDisparity0, numDisparities128, blockSize5, P18 * 3 * 5 * 5, P232 * 3 * 5 * 5, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange2, preFilterCap63, modecv2.STEREO_SGBM_MODE_SGBM_3WAY )numDisparities必须能被 16 整除它决定了最大可测视差也就决定了最小可测距离。如果 numDisparities128基线 60mm焦距 600 像素那么最小可测距离约为 f×B/maxDisparity 600×0.06/128 ≈ 0.28m。如果你的工作距离近到 0.2 米这个参数就不够用需要增大 numDisparities 或减小基线。blockSize是匹配块大小奇数通常 3 到 11。块越大噪声抑制越好但边缘和细节丢失越严重。纹理丰富的场景可以用 3 或 5纹理弱的场景用 7 或 9。uniquenessRatio是最佳匹配与次佳匹配的比值阈值通常 5 到 15。设太小会引入错误匹配设太大会导致弱纹理区域视差缺失。我一般从 10 开始调。speckleWindowSize和speckleRange用来过滤小的连通区域噪声。speckleWindowSize 设 50 到 200speckleRange 设 1 到 2能有效去掉零散的坏点。4.2 视差图后处理从粗糙到可用SGBM 出来的原始视差图有很多空洞和噪声直接转点云没法用。后处理通常分三步。第一步是空洞填充。弱纹理区域匹配失败会产生视差空洞。可以用左右一致性检查先剔除错误匹配再用邻域中值填充。OpenCV 的ximgproc模块里有filterSpeckles和StereoBM的变体但更灵活的做法是自己写。第二步是亚像素细化。SGBM 输出的视差是整数像素精度有限。可以用二次曲线拟合视差代价的极小值附近得到 0.1 到 0.2 像素的亚像素精度。这一步对深度精度提升非常明显因为 ΔZ 与 Δd 成正比视差精度提高一倍深度精度也提高一倍。第三步是时域滤波。静态场景下对连续多帧的视差图做中值或均值滤波能进一步压低随机噪声。但动态场景不能用会引入运动模糊。4.3 从视差到点云Q 矩阵的正确用法得到视差图后用reprojectImageTo3D转三维点云points_3d cv2.reprojectImageTo3D(disparity, Q)这里有个细节很多人不知道reprojectImageTo3D输出的坐标单位取决于 Q 矩阵的构造。如果标定时棋盘格方格尺寸用的是毫米那么输出的三维坐标单位就是毫米。如果用的是米输出就是米。单位搞错会导致点云尺度完全不对。另外视差为 0 或负值的像素会被映射到无穷远或错误位置转点云前要把这些无效值屏蔽掉mask disparity disparity.min() points_3d points_3d[mask] colors img_l[mask]我习惯把点云保存成 PLY 格式用 MeshLab 或 CloudCompare 打开检查。如果点云整体呈弧形或扭曲说明标定或校正有问题如果点云有规律性的条纹噪声说明匹配参数需要调。5. 常见问题速查与避坑清单5.1 精度不达标的排查顺序遇到测距精度差不要盲目换硬件按下面的顺序排查效率最高。排查项检查方法典型问题解决方向标定 RMS看 stereoCalibrate 返回值RMS 0.5 像素重拍标定图换标定板极线校正看校正后左右图对应点是否同行对应点有垂直偏移检查 stereoRectify 参数视差范围看视差图是否大面积空洞numDisparities 不够增大 numDisparities匹配参数看视差图噪声和边缘blockSize 过小或过大按纹理调整基线稳定性测量实际基线 vs 标定基线机械形变导致偏差加固支架重新标定温度漂移不同温度下测同一目标焦距或基线随温度变选用低膨胀材料温度补偿5.2 那些文档里不会写的坑坑一相机同步没做好。双目相机如果不同步运动场景下左右图曝光时刻差几毫秒物体已经移动了视差计算完全错误。硬件同步用触发线软件同步至少要用同一时钟源。我见过用两个独立 USB 相机做动态测距的帧率一高就完全没法用。坑二镜头畸变没校正干净。广角镜头的桶形畸变在图像边缘能到几个像素如果标定只用了图像中心区域边缘畸变系数没标出来边缘区域的测距误差会非常大。标定时一定要让棋盘格覆盖图像四个角。坑三红外散斑投影的干扰。有些双目模组带红外散斑投影器来增强弱纹理区域的匹配。但如果你的场景本身有红外光源或者被测物体对红外反射特性特殊散斑反而会干扰匹配。用之前要确认场景兼容性。坑四基线方向装反。双目相机的基线有水平和垂直两种。水平基线适合测水平视差垂直基线适合测垂直视差。如果装反了极线校正后对应点不在同一行匹配直接失败。买模组时要确认基线方向自己搭的话更要小心。坑五忽略滚动快门的影响。卷帘快门相机在振动环境下每一行像素的曝光时刻不同导致图像几何畸变。这种畸变不是镜头畸变标定参数校正不了。有振动的场景必须用全局快门。5.3 选型决策清单最后给一个可以直接照着走的选型清单。明确工作距离范围和精度要求算出 f × B 乘积。根据最小工作距离确定基线上限根据体积约束确定基线下限。根据视野宽度和工作距离选焦距换算成像素焦距验证 f × B。分辨率选 200 万到 500 万像素动态场景必须全局快门。标定板选玻璃或氧化铝基底尺寸占图像 1/3 到 1/2。标定图像至少 15 组覆盖全视场和不同倾斜角度。标定 RMS 控制在 0.3 像素以内超过 0.5 重做。立体匹配用 SGBMnumDisparities 覆盖你的视差范围。后处理做亚像素细化和空洞填充精度能提升 30% 以上。机械结构保证基线稳定温度变化大的场景考虑温度补偿。这套流程我在多个 AGV 和工业测量项目里跑过3 米距离做到 2 到 3 厘米的深度误差是稳的。如果要求更高就得考虑结构光或 ToF 方案了双目在这个量级上已经接近物理极限。选型阶段多花一天算清楚参数比后面调一个月算法都值。
双目测距精度翻车？从选型到标定的避坑指南
1. 双目测距翻车现场你的精度到底丢在了哪个环节做双目视觉项目的朋友十个里有八个跟我吐槽过同一件事标定跑完了视差图也出来了点云看着像那么回事可一量实际距离误差动辄十几厘米甚至半米开外。更气人的是换一套参数重标一遍结果还是飘。问题往往不在算法而在最开始那一步——相机选型。双目测距的本质是一道几何题。两个相机光心之间的距离叫基线Baseline同一个物点在左右图像上的像素横坐标差叫视差Disparity深度 Z 与它们的关系是Z (f × B) / d其中 f 是焦距像素单位B 是基线d 是视差。这个公式看着简单但它决定了整个系统的精度天花板。对 Z 求导可以得到深度误差的传递关系ΔZ (Z² / (f × B)) × Δd这个式子才是选型的命根子。它告诉你三件事距离越远误差按平方增长焦距和基线越大误差越小视差本身的测量误差 Δd 直接线性放大到深度上。很多人选相机时只盯着分辨率完全忽略基线和焦距的匹配最后精度不达标是必然的。这篇内容适合正在做机器人避障、AGV 导航、工业三维测量、无人机定高、体积测量这类项目的工程师也适合刚接触 OpenCV 双目模块、准备自己搭一套测距系统的同学。我会把选型阶段最容易踩的坑一个个拆开讲包括基线怎么定、焦距怎么算、分辨率是不是越高越好、标定板怎么选、OpenCV 里哪些参数在偷偷吃掉你的精度。看完你至少能判断出自己项目里精度丢在了哪一环而不是盲目换硬件。2. 选型第一性原理从精度指标反推硬件参数2.1 先算清楚你需要多高的精度再谈选相机绝大多数人选相机的顺序是错的。他们先看预算再挑一款参数好看的相机买回来发现精度不够然后开始怀疑算法。正确的顺序是反过来的先明确工作距离范围和在该距离上允许的深度误差再反推需要的焦距、基线和分辨率。举个实际例子。假设你要做一个 0.5 米到 3 米工作距离的避障系统要求在 3 米处深度误差不超过 5 厘米。把 ΔZ 0.05m、Z 3m 代入公式ΔZ (Z² / (f × B)) × Δd 0.05 (9 / (f × B)) × Δd视差误差 Δd 通常取 0.1 到 0.5 像素取决于你的匹配算法和标定质量。假设你的立体匹配能做到 0.2 像素的亚像素精度那么f × B 9 × 0.2 / 0.05 36 (像素·米)如果基线选 60mm0.06m那么焦距 f 36 / 0.06 600 像素。如果基线选 120mm焦距只需要 300 像素。这就是基线和焦距的权衡关系——基线翻倍焦距可以减半但基线太大近距离盲区会变大。注意这里的 Δd 是视差误差不是深度误差。很多人把这两个概念搞混导致算出来的参数完全不对。视差误差来自立体匹配算法、图像噪声、标定残差是一个综合值经验上 0.1~0.5 像素是常见范围。2.2 基线距离不是越大越好盲区和体积是代价基线是双目系统里最关键的机械参数。基线越大同样距离下的视差越大深度分辨率越高。但基线增大会带来两个直接问题。第一是最小工作距离变大。双目相机的视场重叠区域随距离增加而扩大在很近的距离上两个相机可能根本看不到同一个物体。粗略估算如果相机水平视场角为 θ基线为 B那么两个相机视场完全重叠的最小距离约为D_min ≈ B / (2 × tan(θ/2))以 60mm 基线、60 度水平视场角为例D_min ≈ 0.06 / (2 × tan30°) ≈ 0.052m也就是 5 厘米左右这个近距离表现还不错。但如果基线拉到 200mmD_min 就变成约 17 厘米近距离避障就会出问题。第二是体积和安装刚度。基线越大两个相机之间的连接结构越长对机械刚度的要求越高。任何微小的形变都会改变基线而基线变化直接导致测距系统性偏差。我见过用 3D 打印件做 150mm 基线支架的项目温度一变、受力一抖标定参数就废了。实际选型时基线通常按工作距离的 1/10 到 1/20 来初选。工作距离 3 米基线 150mm 到 300mm 是合理区间工作距离 0.5 米基线 30mm 到 60mm 更合适。这个比例不是死规矩但能帮你快速圈定范围。2.3 焦距与视场角决定你能看到多大范围焦距决定了视场角。焦距越长视场越窄远处看得越清楚但近处覆盖范围小。工业上常用的是水平视场角 40 到 70 度的镜头。选焦距时要同时考虑两个约束一是工作距离上要能覆盖你需要的视野宽度二是要满足前面算出来的 f × B 乘积。视野宽度 W、工作距离 Z、焦距 f、传感器宽度 w 的关系是W (w × Z) / f假设你用 1/2.5 英寸传感器宽度约 5.7mm工作距离 3 米需要覆盖 2 米宽的视野f (5.7 × 3000) / 2000 8.55mm所以选 8mm 或 6mm 镜头比较合适。如果前面算出来需要 f × B 36基线 60mm 对应焦距 600 像素而 8mm 镜头在 3.45μm 像元上对应的像素焦距是 8000/3.45 ≈ 2319 像素远大于需求说明精度有富余可以适当减小基线或放宽精度要求。这里有个常见误区像素焦距和物理焦距不是一回事。OpenCV 标定出来的 fx、fy 是像素单位的焦距等于物理焦距除以像元尺寸。选镜头时看物理焦距算精度时用像素焦距两者要换算清楚。2.4 分辨率高分辨率不等于高精度很多人觉得 2000 万像素肯定比 200 万像素测得准这是典型的误解。分辨率影响的是视差的量化精度和匹配的稳定性但深度精度主要由 f × B 决定。高分辨率的好处是同样的物理视场下每个像素代表的实际尺寸更小亚像素匹配的绝对精度更高。但坏处也很明显图像数据量大立体匹配计算量按像素数平方增长帧率上不去高分辨率下噪声和暗电流问题更突出反而可能降低匹配质量。我的经验是对于 3 米以内的测距200 万到 500 万像素如 1920×1080 或 1280×960完全够用。真正需要高分辨率的是远距离小目标测量比如 10 米外测几厘米的物体那才需要上千万像素配合长焦。还有一个容易被忽略的参数是全局快门还是卷帘快门。动态场景下必须用全局快门否则运动物体在左右图像上的曝光时刻不同视差计算直接崩掉。静态测量用卷帘快门可以省钱但一旦有振动或运动精度就没法保证。3. 标定环节的隐形杀手参数对了精度还是差3.1 标定板选型与拍摄策略标定是双目系统的地基。地基没打好后面算法再优化都是白费。标定板的选择有几个硬指标。棋盘格标定板是最常用的但很多人随便打印一张 A4 纸就开干这是精度杀手。打印的棋盘格边缘模糊、平面度差角点检测精度可能只有 0.3 到 0.5 像素。建议用氧化铝或玻璃基底的标定板平面度控制在微米级棋盘格对比度高、边缘锐利角点检测能稳定在 0.1 像素以内。标定板尺寸要和视场匹配。经验规则是标定板占据图像的 1/3 到 1/2 宽度比较合适。太小了角点少约束不足太大了边缘畸变严重反而引入误差。拍摄策略上我总结了一个“三三制”原则至少 15 到 20 组图像覆盖左中右三个横向区域、上中下三个纵向区域、远近三个距离层次。标定板在每个位置要有不同的倾斜角度俯仰和偏航各变化 ±30 度左右。很多人只在一个平面上平移标定板这样标定出来的畸变系数和基线都不准。实操心得标定时把相机固定好移动标定板而不是移动相机。相机一动两个相机的相对位姿就变了标定白做。另外标定过程中要保证光照均匀避免标定板上有反光或阴影这些都会让角点检测偏移。3.2 OpenCV 标定流程与关键参数OpenCV 的双目标定流程大致是单目标定得到各自内参再用 stereoCalibrate 做双目标定得到外参。核心代码结构如下import cv2 import numpy as np # 棋盘格内角点数 pattern_size (9, 6) objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) # 收集角点 objpoints [] imgpoints_l [] imgpoints_r [] for img_l, img_r in image_pairs: gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, pattern_size, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, pattern_size, None) if ret_l and ret_r: corners_l cv2.cornerSubPix(gray_l, corners_l, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) corners_r cv2.cornerSubPix(gray_r, corners_r, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) objpoints.append(objp) imgpoints_l.append(corners_l) imgpoints_r.append(corners_r) # 双目标定 ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, None, None, None, None, gray_l.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC, criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-5) )这里有几个关键点。cornerSubPix的窗口大小 (11,11) 是经验值图像噪声大时可以适当增大但太大会把邻近角点也框进来。stereoCalibrate的 flags 如果先用单目标定得到了内参建议用CALIB_FIX_INTRINSIC固定内参只优化外参这样更稳定。如果内参也一起优化容易过拟合。标定完成后重投影误差RMS是判断标定质量的核心指标。好的标定 RMS 应该在 0.1 到 0.3 像素之间。如果超过 0.5 像素说明标定图像质量有问题需要重新拍。我见过 RMS 到 1.5 像素还在用的测距误差能到几十厘米。3.3 极线校正别让畸变偷走你的精度标定完得到内外参后要用stereoRectify做极线校正让左右图像的对应点在同一水平线上。这一步直接决定了立体匹配的搜索范围。R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( K1, D1, K2, D2, image_size, R, T, alpha0, flagscv2.CALIB_ZERO_DISPARITY ) map1_l, map2_l cv2.initUndistortRectifyMap(K1, D1, R1, P1, image_size, cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap(K2, D2, R2, P2, image_size, cv2.CV_32FC1)alpha0表示校正后只保留有效像素图像边缘会被裁掉alpha1保留所有像素但会有黑边。做测距建议用alpha0避免黑边区域参与匹配产生错误视差。Q矩阵是重投影矩阵用reprojectImageTo3D把视差图转成三维点云时要用到它。Q 矩阵里的参数直接来自标定结果如果标定不准Q 矩阵就是错的点云整体会扭曲。常见坑很多人标定完直接拿原始图像做匹配忘了做remap校正。这样左右图像的极线不平行匹配搜索必须用二维搜索不仅慢而且错误匹配率极高。校正后只需要一维水平搜索效率和精度都大幅提升。4. 立体匹配与后处理算法层面的精度保卫战4.1 SGBM 参数调优实战OpenCV 里最常用的立体匹配算法是StereoSGBM。它的参数多调起来让人头大但每个参数都有明确的物理意义。stereo cv2.StereoSGBM_create( minDisparity0, numDisparities128, blockSize5, P18 * 3 * 5 * 5, P232 * 3 * 5 * 5, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange2, preFilterCap63, modecv2.STEREO_SGBM_MODE_SGBM_3WAY )numDisparities必须能被 16 整除它决定了最大可测视差也就决定了最小可测距离。如果 numDisparities128基线 60mm焦距 600 像素那么最小可测距离约为 f×B/maxDisparity 600×0.06/128 ≈ 0.28m。如果你的工作距离近到 0.2 米这个参数就不够用需要增大 numDisparities 或减小基线。blockSize是匹配块大小奇数通常 3 到 11。块越大噪声抑制越好但边缘和细节丢失越严重。纹理丰富的场景可以用 3 或 5纹理弱的场景用 7 或 9。uniquenessRatio是最佳匹配与次佳匹配的比值阈值通常 5 到 15。设太小会引入错误匹配设太大会导致弱纹理区域视差缺失。我一般从 10 开始调。speckleWindowSize和speckleRange用来过滤小的连通区域噪声。speckleWindowSize 设 50 到 200speckleRange 设 1 到 2能有效去掉零散的坏点。4.2 视差图后处理从粗糙到可用SGBM 出来的原始视差图有很多空洞和噪声直接转点云没法用。后处理通常分三步。第一步是空洞填充。弱纹理区域匹配失败会产生视差空洞。可以用左右一致性检查先剔除错误匹配再用邻域中值填充。OpenCV 的ximgproc模块里有filterSpeckles和StereoBM的变体但更灵活的做法是自己写。第二步是亚像素细化。SGBM 输出的视差是整数像素精度有限。可以用二次曲线拟合视差代价的极小值附近得到 0.1 到 0.2 像素的亚像素精度。这一步对深度精度提升非常明显因为 ΔZ 与 Δd 成正比视差精度提高一倍深度精度也提高一倍。第三步是时域滤波。静态场景下对连续多帧的视差图做中值或均值滤波能进一步压低随机噪声。但动态场景不能用会引入运动模糊。4.3 从视差到点云Q 矩阵的正确用法得到视差图后用reprojectImageTo3D转三维点云points_3d cv2.reprojectImageTo3D(disparity, Q)这里有个细节很多人不知道reprojectImageTo3D输出的坐标单位取决于 Q 矩阵的构造。如果标定时棋盘格方格尺寸用的是毫米那么输出的三维坐标单位就是毫米。如果用的是米输出就是米。单位搞错会导致点云尺度完全不对。另外视差为 0 或负值的像素会被映射到无穷远或错误位置转点云前要把这些无效值屏蔽掉mask disparity disparity.min() points_3d points_3d[mask] colors img_l[mask]我习惯把点云保存成 PLY 格式用 MeshLab 或 CloudCompare 打开检查。如果点云整体呈弧形或扭曲说明标定或校正有问题如果点云有规律性的条纹噪声说明匹配参数需要调。5. 常见问题速查与避坑清单5.1 精度不达标的排查顺序遇到测距精度差不要盲目换硬件按下面的顺序排查效率最高。排查项检查方法典型问题解决方向标定 RMS看 stereoCalibrate 返回值RMS 0.5 像素重拍标定图换标定板极线校正看校正后左右图对应点是否同行对应点有垂直偏移检查 stereoRectify 参数视差范围看视差图是否大面积空洞numDisparities 不够增大 numDisparities匹配参数看视差图噪声和边缘blockSize 过小或过大按纹理调整基线稳定性测量实际基线 vs 标定基线机械形变导致偏差加固支架重新标定温度漂移不同温度下测同一目标焦距或基线随温度变选用低膨胀材料温度补偿5.2 那些文档里不会写的坑坑一相机同步没做好。双目相机如果不同步运动场景下左右图曝光时刻差几毫秒物体已经移动了视差计算完全错误。硬件同步用触发线软件同步至少要用同一时钟源。我见过用两个独立 USB 相机做动态测距的帧率一高就完全没法用。坑二镜头畸变没校正干净。广角镜头的桶形畸变在图像边缘能到几个像素如果标定只用了图像中心区域边缘畸变系数没标出来边缘区域的测距误差会非常大。标定时一定要让棋盘格覆盖图像四个角。坑三红外散斑投影的干扰。有些双目模组带红外散斑投影器来增强弱纹理区域的匹配。但如果你的场景本身有红外光源或者被测物体对红外反射特性特殊散斑反而会干扰匹配。用之前要确认场景兼容性。坑四基线方向装反。双目相机的基线有水平和垂直两种。水平基线适合测水平视差垂直基线适合测垂直视差。如果装反了极线校正后对应点不在同一行匹配直接失败。买模组时要确认基线方向自己搭的话更要小心。坑五忽略滚动快门的影响。卷帘快门相机在振动环境下每一行像素的曝光时刻不同导致图像几何畸变。这种畸变不是镜头畸变标定参数校正不了。有振动的场景必须用全局快门。5.3 选型决策清单最后给一个可以直接照着走的选型清单。明确工作距离范围和精度要求算出 f × B 乘积。根据最小工作距离确定基线上限根据体积约束确定基线下限。根据视野宽度和工作距离选焦距换算成像素焦距验证 f × B。分辨率选 200 万到 500 万像素动态场景必须全局快门。标定板选玻璃或氧化铝基底尺寸占图像 1/3 到 1/2。标定图像至少 15 组覆盖全视场和不同倾斜角度。标定 RMS 控制在 0.3 像素以内超过 0.5 重做。立体匹配用 SGBMnumDisparities 覆盖你的视差范围。后处理做亚像素细化和空洞填充精度能提升 30% 以上。机械结构保证基线稳定温度变化大的场景考虑温度补偿。这套流程我在多个 AGV 和工业测量项目里跑过3 米距离做到 2 到 3 厘米的深度误差是稳的。如果要求更高就得考虑结构光或 ToF 方案了双目在这个量级上已经接近物理极限。选型阶段多花一天算清楚参数比后面调一个月算法都值。
