简介这份资源面向电力巡检、计算机视觉与图像融合方向的研究者和开发者提供输电线路红外与可见光图像融合数据集并附带分割标签可用于图像分割、目标识别与故障诊断等算法的训练和验证。压缩包共2000个文件约112.48MB包含839个png、680个jpg图像478个csv数据文件以及2个Python脚本和1个说明文本。其中csv_to_image.py负责将CSV转为图片csv_to_infrared.py将CSV重建为RGB图像并保存至ir/infrared文件夹需注意该RGB图并非真实红外图而是基于数据重建的彩色图像。数据集通过图像配准保证转换后图像与原始图像位置一致为后续分析提供可靠基础。目前已有65人学习下载适合需要快速获取输电线路多模态数据、开展融合与分割实验的读者参考使用。1. 输电线路巡检数据难找这套红外与可见光融合数据集把配准和分割标签都备齐了做输电线路智能巡检的同行大概都有过这种体验算法模型跑得挺欢一到真实数据就翻车。可见光图像里绝缘子、金具、导线清清楚楚但到了夜间或者雾霾天可见光基本抓瞎红外图像能穿透这些干扰把发热异常点暴露出来可分辨率低、纹理弱单靠红外做缺陷分类又容易误判。真正能落地的方案几乎都绕不开红外与可见光图像融合这条路。问题是公开的输电线路多模态数据集少得可怜带像素级分割标签的更是稀缺。这套资源包解决的正是这个痛点它提供了输电线路场景下的红外与可见光图像对红外部分以 CSV 格式存储需要做格式转换和图像配准才能进入常规训练流程同时附带了分割标签可以直接用于融合后的缺陷区域分割任务。适合正在做电力巡检算法、多模态融合研究或者想验证配准与融合链路是否跑得通的工程师和研究生。它不是那种开箱即用的标准图像文件夹但恰恰因为这样你能从中摸清从原始数据到可训练样本的完整处理链路。2. 先搞懂数据组织CSV 红外图像与可见光配准对是怎么对应的2.1 为什么红外图像会存成 CSV很多做可见光图像处理习惯了的同学第一次看到红外图像是 CSV 格式会愣一下。这跟红外热像仪的输出方式有关。常见的热像仪传感器输出的是原始温度矩阵每个像素点对应一个温度值而不是像可见光相机那样直接输出 RGB 三通道的 JPEG 或 PNG。保存成 CSV本质上就是把二维温度矩阵按行按列写成逗号分隔的文本文件方便用 Excel 或 Python 直接查看数值分布。这种格式的好处是保留了原始温度信息没有经过伪彩色映射带来的信息损失坏处是不能直接喂给 OpenCV 或 PyTorch 的视觉模型必须转成灰度图或伪彩色图。这套数据集里的红外 CSV 文件每个文件对应一帧红外图像数值范围通常在 0 到 255 或者更大的温度区间内具体取决于采集设备。你需要先读进来看看数值范围再决定归一化策略。2.2 可见光与红外的空间对应关系输电线路场景下红外和可见光图像通常由双光吊舱同时采集两个传感器的视场角、分辨率、安装位置都有差异。这意味着同一时刻拍到的两张图像素并不是一一对应的。可见光图像里绝缘子在画面左上角红外图像里可能偏右下而且大小比例也不一样。这套数据集提供的可见光图像是常规格式红外是 CSV两者之间的空间对应关系需要靠配准来建立。配准的目标就是找到一个变换矩阵把红外图像映射到可见光图像的坐标系下让同一物理位置在两个模态中重合。没有配准这一步融合出来的结果就是重影分割标签也没法用。常见做法是先用特征点匹配或者互信息法做粗配准再用仿射变换做精调。这套数据集的配准对已经按拍摄场景做了初步整理但具体变换参数需要你自己根据图像内容计算。2.3 分割标签的格式与使用方式分割标签是这套资源里比较有价值的部分。输电线路巡检的分割任务通常关注几类目标绝缘子、防震锤、均压环、导线、金具等。标签一般以掩膜图的形式提供每个像素值代表类别索引0 通常是背景。使用的时候你需要把标签图 resize 到和融合后图像相同的尺寸然后转成 one-hot 或者直接作为 CrossEntropyLoss 的 target。注意标签图如果是 PNG 格式读取时要用cv2.IMREAD_GRAYSCALE或者PIL.Image.open后转 numpy不要用默认的彩色读取否则类别索引会被映射成 RGB 值训练时直接报错。这套数据集的标签和可见光图像是对齐的所以配准红外之后标签可以直接复用不需要重新标注。3. 把 CSV 红外图像转成可用图像Python 转换脚本与参数调优3.1 读取 CSV 并还原温度矩阵拿到 CSV 文件后第一步是确认它的结构。有的 CSV 第一行是表头有的没有有的用逗号分隔有的用分号。我一般先用 pandas 读一下前几行看看。下面这个脚本假设 CSV 没有表头纯数值矩阵分隔符是逗号。import pandas as pd import numpy as np import cv2 def csv_to_temperature_matrix(csv_path): # 读取CSV假设无表头全部为数值 df pd.read_csv(csv_path, headerNone) # 转成numpy数组数据类型为float32 temp_matrix df.values.astype(np.float32) return temp_matrix # 示例读取一个CSV文件 temp csv_to_temperature_matrix(ir_sample.csv) print(矩阵形状:, temp.shape) print(温度范围:, temp.min(), temp.max())这段代码的逻辑很直接用 pandas 把 CSV 读成 DataFrame再转成 numpy 数组。关键参数是headerNone如果 CSV 第一行是列名这里会报错或者多出一行需要改成header0。读取后打印形状和数值范围是为了确认数据是否完整。如果形状是 (256, 320) 这种说明是标准的红外分辨率如果数值范围是 0 到 255那可能是已经量化过的灰度值不是原始温度。这一步不做任何归一化先看清楚原始数据长什么样。3.2 温度矩阵归一化与伪彩色映射原始温度矩阵的数值范围可能很大比如 20 到 400 摄氏度直接转成 uint8 会截断。需要先归一化到 0 到 255再转灰度图。如果要做伪彩色可以用 OpenCV 的applyColorMap。def normalize_to_uint8(temp_matrix): # 线性归一化到0-255 min_val temp_matrix.min() max_val temp_matrix.max() if max_val - min_val 1e-6: return np.zeros_like(temp_matrix, dtypenp.uint8) normalized (temp_matrix - min_val) / (max_val - min_val) * 255.0 return normalized.astype(np.uint8) def save_ir_image(temp_matrix, save_path, use_colormapTrue): gray normalize_to_uint8(temp_matrix) if use_colormap: # 使用JET伪彩色突出温度差异 color_img cv2.applyColorMap(gray, cv2.COLORMAP_JET) cv2.imwrite(save_path, color_img) else: cv2.imwrite(save_path, gray) # 转换并保存 save_ir_image(temp, ir_sample.png, use_colormapFalse)归一化这里有个坑如果某一帧红外图像整体温度很均匀max 和 min 差距极小除法会出问题所以加了一个判断。use_colormap参数控制是否输出伪彩色图。做融合任务时通常用灰度图作为输入因为伪彩色会引入人工颜色干扰融合算法对真实热辐射的建模。但如果是做可视化展示JET 伪彩色更直观。保存时注意 OpenCV 的imwrite要求 uint8 类型归一化后的数组正好满足。3.3 批量转换与文件命名对齐实际使用中不可能一帧一帧手动转需要批量处理整个文件夹并且保证转换后的红外图像文件名和可见光图像、标签图一一对应。import os import glob def batch_convert_ir_csv(csv_dir, output_dir, use_colormapFalse): os.makedirs(output_dir, exist_okTrue) csv_files glob.glob(os.path.join(csv_dir, *.csv)) for csv_path in csv_files: # 提取文件名不含扩展名 base_name os.path.splitext(os.path.basename(csv_path))[0] temp_matrix csv_to_temperature_matrix(csv_path) save_path os.path.join(output_dir, base_name .png) save_ir_image(temp_matrix, save_path, use_colormap) print(f转换完成: {base_name}) # 执行批量转换 batch_convert_ir_csv(ir_csv_folder, ir_png_folder, use_colormapFalse)批量转换的核心是文件名对齐。假设可见光图像叫visible_001.jpg标签叫label_001.png那红外 CSV 最好也叫ir_001.csv转换后得到ir_001.png。如果原始命名不一致需要在这里加一层映射逻辑比如用正则提取编号。glob.glob返回的顺序不保证和可见光文件夹一致所以后续配准和融合时建议用字典按编号索引而不是靠列表顺序。转换完成后检查一下输出文件夹里 PNG 数量是否和 CSV 数量一致少了就是有文件读取失败去看报错信息。4. 图像配准实战从特征点到仿射变换的完整链路4.1 配准为什么不能跳过有人可能会想红外和可见光都是同一场景拍的直接叠在一起不就行了实际数据会告诉你不行。双光吊舱的两个传感器光轴有平行度误差视场角不同分辨率也不同。我见过一组数据可见光图像里绝缘子占画面三分之一红外里只占五分之一而且位置偏了上百像素。不做配准直接融合边缘全是重影分割标签套上去更是错位。配准的本质是求解一个空间变换让两个模态的像素在几何上对齐。对于输电线路这种场景目标距离远、纹理重复配准难度比一般自然图像高需要选对方法。4.2 基于特征点的粗配准常见做法是先用 SIFT 或 ORB 提取特征点匹配后计算单应性矩阵。但红外和可见光图像灰度差异大直接匹配效果往往不好。我一般会先把红外灰度图做直方图均衡化增强对比度再用 SIFT。import cv2 import numpy as np def coarse_register(ir_gray, vis_gray): # 直方图均衡化增强红外对比度 ir_eq cv2.equalizeHist(ir_gray) # 创建SIFT检测器 sift cv2.SIFT_create() kp1, des1 sift.detectAndCompute(ir_eq, None) kp2, des2 sift.detectAndCompute(vis_gray, None) # FLANN匹配器 index_params dict(algorithm1, trees5) search_params dict(checks50) flann cv2.FlannBasedMatcher(index_params, search_params) matches flann.knnMatch(des1, des2, k2) # Lowes ratio test good_matches [] for m, n in matches: if m.distance 0.75 * n.distance: good_matches.append(m) if len(good_matches) 10: print(匹配点不足配准失败) return None src_pts np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2) dst_pts np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2) # 计算单应性矩阵 H, mask cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) return H这段代码的关键参数是ratio0.75这是 Lowe 推荐的阈值小于这个值才算可靠匹配。RANSAC的重投影误差阈值设为 5.0 像素对于输电线路场景可以适当放宽到 8.0因为远距离目标特征点定位精度有限。如果good_matches少于 10 个说明特征匹配失败这时候不要硬算单应性矩阵否则会得到一个完全错误的变换。失败的原因通常是红外图像纹理太弱或者两个模态视场差异太大。遇到这种情况可以尝试用互信息法或者手动选点。4.3 仿射变换与像素对齐验证得到单应性矩阵后用warpPerspective把红外图像变换到可见光坐标系。def apply_registration(ir_img, H, output_size): # output_size格式为(width, height) registered cv2.warpPerspective(ir_img, H, output_size) return registered # 假设vis_gray是可见光灰度图获取其尺寸 h, w vis_gray.shape registered_ir apply_registration(ir_gray, H, (w, h)) # 验证将配准后的红外和可见光叠加 overlay cv2.addWeighted(vis_gray, 0.5, registered_ir, 0.5, 0) cv2.imwrite(overlay_check.png, overlay)验证配准效果最直接的方法就是叠加显示。如果绝缘子边缘在叠加图里基本重合说明配准可用如果还有明显错位需要调整。warpPerspective的输出尺寸必须和可见光图像一致否则后续融合和标签对齐都会出问题。注意output_size的参数顺序是 (width, height)而 numpy 的 shape 是 (height, width)这里容易搞反。配准后的红外图像边缘可能会有黑色填充区域这是正常的融合时可以通过掩膜忽略。4.4 配准失败时的备选方案特征点法不是万能的。输电线路场景里如果红外图像里导线和背景温差小SIFT 根本提不出稳定特征点。这时候可以退而求其次用基于区域的配准方法比如归一化互信息。OpenCV 没有直接提供互信息配准但可以用cv2.findTransformECC做增强相关系数配准它对模态差异有一定的鲁棒性。def ecc_register(ir_gray, vis_gray): # 定义仿射变换矩阵初始值 warp_matrix np.eye(2, 3, dtypenp.float32) # 设置迭代参数 criteria (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 500, 1e-6) try: cc, warp_matrix cv2.findTransformECC(vis_gray, ir_gray, warp_matrix, cv2.MOTION_AFFINE, criteria) return warp_matrix except cv2.error as e: print(ECC配准失败:, e) return NoneECC 配准要求两幅图尺寸一致所以需要先把红外图 resize 到和可见光一样大。它的输出是一个 2x3 的仿射矩阵用warpAffine应用。这个方法计算量大但不需要特征点适合纹理弱的场景。实际项目中我通常先用 SIFT 试失败再切 ECC两者结合能覆盖大部分情况。5. 避坑与排查配准融合链路里最容易翻车的五个点5.1 现象转换后的红外图像全黑或全白原因CSV 里的数值范围极端比如全是 0 或者全是同一个值归一化时除以零或者映射到单一灰度。也有可能是 CSV 读取时分隔符不对pandas 把整行读成了一个字符串。解决读取后先打印temp_matrix.min()和temp_matrix.max()如果两者相等说明这帧数据无效直接跳过。如果数值范围正常但图像仍全黑检查pd.read_csv的sep参数有的 CSV 用制表符或分号分隔。另外确认header参数是否正确把表头读成数据也会导致异常。5.2 现象SIFT 匹配点数量够但单应性矩阵变换后图像完全错位原因匹配点里存在大量误匹配RANSAC 虽然能剔除一部分但如果误匹配比例超过 50%算出来的矩阵就是错的。输电线路场景里重复纹理比如成排的绝缘子会导致特征点错误对应。解决在 Lowes ratio test 之后再加一层几何验证。比如用cv2.findFundamentalMat先算基础矩阵剔除不满足极线约束的匹配点。或者直接限制匹配点对的距离超过图像对角线 20% 的匹配对丢弃。如果还是不行改用 ECC 配准。5.3 现象配准后叠加图看着对齐了但分割标签套上去还是错位原因标签图可能经过了 resize 或者裁剪和可见光图像不是严格像素对应。也有可能是配准时只对齐了红外和可见光但标签是基于原始可见光标注的如果可见光本身有畸变校正标签没同步校正就会错位。解决先确认标签图和可见光图像的尺寸是否完全一致。如果不一致用最近邻插值 resize 标签图不要用双线性插值否则类别索引会被插值成小数。如果可见光做过畸变校正标签也必须用同样的参数校正。最稳妥的办法是拿一张标签叠加到可见光上可视化检查确认无误后再做配准。5.4 现象批量转换时部分 CSV 读取报错程序中断原因文件夹里混入了非 CSV 文件或者某个 CSV 文件损坏、编码格式不同。glob.glob(*.csv)只匹配扩展名不保证文件内容合法。解决在循环里加 try-except捕获异常后记录文件名并跳过不要让它中断整个批次。同时用os.path.getsize检查文件大小0 字节的文件直接跳过。编码问题可以用pd.read_csv(csv_path, encodingutf-8)或encodinggbk尝试。5.5 现象融合后的图像在目标边缘出现彩色伪影原因红外和可见光配准残差在边缘处被放大融合算法把错位的边缘信息叠加在一起产生伪彩色。另外如果红外伪彩色图和可见光融合颜色空间不匹配也会导致伪影。解决做融合时用红外灰度图不要用伪彩色图。配准后对红外图像做一次边缘羽化或者在融合前用导向滤波对红外图像做平滑减少配准残差的影响。如果伪影仍然明显说明配准精度不够回到第 4 章检查配准环节。6. 从配准到融合训练一个可复现的验证脚本与精度检查习惯配准做完只是第一步最终要验证这套数据能不能训出可用的分割模型。我一般会写一个最小闭环脚本读一对配准后的红外和可见光图像做简单加权融合送进一个轻量分割网络跑几个 epoch 看 loss 是否下降。下面这个脚本用 PyTorch 搭了一个极简的双流输入分割模型重点不是模型多强而是验证数据链路是否通畅。import torch import torch.nn as nn import torch.nn.functional as F import cv2 import numpy as np class SimpleFusionSeg(nn.Module): def __init__(self, num_classes5): super().__init__() # 双流输入红外和可见光各3通道灰度复制或伪彩色 self.conv1 nn.Conv2d(6, 32, 3, padding1) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.conv3 nn.Conv2d(64, num_classes, 1) def forward(self, ir, vis): # 沿通道维拼接 x torch.cat([ir, vis], dim1) x F.relu(self.conv1(x)) x F.relu(self.conv2(x)) x self.conv3(x) return x # 模拟数据加载 def load_pair(ir_path, vis_path, label_path): ir cv2.imread(ir_path, cv2.IMREAD_GRAYSCALE) vis cv2.imread(vis_path, cv2.IMREAD_GRAYSCALE) label cv2.imread(label_path, cv2.IMREAD_GRAYSCALE) # 统一尺寸 h, w 256, 256 ir cv2.resize(ir, (w, h)) vis cv2.resize(vis, (w, h)) label cv2.resize(label, (w, h), interpolationcv2.INTER_NEAREST) # 转tensor增加batch和通道维 ir_t torch.from_numpy(ir).float().unsqueeze(0).unsqueeze(0) / 255.0 vis_t torch.from_numpy(vis).float().unsqueeze(0).unsqueeze(0) / 255.0 # 红外单通道复制成3通道 ir_t ir_t.repeat(1, 3, 1, 1) vis_t vis_t.repeat(1, 3, 1, 1) label_t torch.from_numpy(label).long().unsqueeze(0) return ir_t, vis_t, label_t # 训练一步 model SimpleFusionSeg(num_classes5) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() ir_t, vis_t, label_t load_pair(registered_ir.png, visible.png, label.png) optimizer.zero_grad() output model(ir_t, vis_t) loss criterion(output, label_t) loss.backward() optimizer.step() print(单步loss:, loss.item())这个脚本里load_pair函数把红外和可见光都 resize 到 256x256标签用最近邻插值保持类别索引不变。红外单通道复制成三通道是为了和可见光通道数对齐方便拼接。模型本身很简单两个卷积层加一个 1x1 卷积输出类别 logits。跑一步反向传播如果 loss 能正常计算并下降说明数据读取、配准、标签对齐这条链路是通的。如果 loss 是 nan检查输入图像是否归一化、标签里是否有超出类别数的值。如果 loss 不降可能是配准没做好融合后的特征对分割任务没有帮助。验证配准精度还有一个习惯每次配准完随机抽 5 对图像把红外边缘叠加到可见光上用cv2.addWeighted生成检查图肉眼过一遍。如果边缘重合度差不要急着往下走先调配准参数。我见过太多人配准没做好就直接训模型结果精度上不去回头排查浪费好几天。从那以后我每次拿到新的多模态数据都强制走一遍「转换-配准-叠加检查-单步训练」的流程确认无误再开大规模训练。希望帮到你。本文还有配套的精品资源点击获取
输电线路红外与可见光融合数据集：配准、分割标签与Python实战
简介这份资源面向电力巡检、计算机视觉与图像融合方向的研究者和开发者提供输电线路红外与可见光图像融合数据集并附带分割标签可用于图像分割、目标识别与故障诊断等算法的训练和验证。压缩包共2000个文件约112.48MB包含839个png、680个jpg图像478个csv数据文件以及2个Python脚本和1个说明文本。其中csv_to_image.py负责将CSV转为图片csv_to_infrared.py将CSV重建为RGB图像并保存至ir/infrared文件夹需注意该RGB图并非真实红外图而是基于数据重建的彩色图像。数据集通过图像配准保证转换后图像与原始图像位置一致为后续分析提供可靠基础。目前已有65人学习下载适合需要快速获取输电线路多模态数据、开展融合与分割实验的读者参考使用。1. 输电线路巡检数据难找这套红外与可见光融合数据集把配准和分割标签都备齐了做输电线路智能巡检的同行大概都有过这种体验算法模型跑得挺欢一到真实数据就翻车。可见光图像里绝缘子、金具、导线清清楚楚但到了夜间或者雾霾天可见光基本抓瞎红外图像能穿透这些干扰把发热异常点暴露出来可分辨率低、纹理弱单靠红外做缺陷分类又容易误判。真正能落地的方案几乎都绕不开红外与可见光图像融合这条路。问题是公开的输电线路多模态数据集少得可怜带像素级分割标签的更是稀缺。这套资源包解决的正是这个痛点它提供了输电线路场景下的红外与可见光图像对红外部分以 CSV 格式存储需要做格式转换和图像配准才能进入常规训练流程同时附带了分割标签可以直接用于融合后的缺陷区域分割任务。适合正在做电力巡检算法、多模态融合研究或者想验证配准与融合链路是否跑得通的工程师和研究生。它不是那种开箱即用的标准图像文件夹但恰恰因为这样你能从中摸清从原始数据到可训练样本的完整处理链路。2. 先搞懂数据组织CSV 红外图像与可见光配准对是怎么对应的2.1 为什么红外图像会存成 CSV很多做可见光图像处理习惯了的同学第一次看到红外图像是 CSV 格式会愣一下。这跟红外热像仪的输出方式有关。常见的热像仪传感器输出的是原始温度矩阵每个像素点对应一个温度值而不是像可见光相机那样直接输出 RGB 三通道的 JPEG 或 PNG。保存成 CSV本质上就是把二维温度矩阵按行按列写成逗号分隔的文本文件方便用 Excel 或 Python 直接查看数值分布。这种格式的好处是保留了原始温度信息没有经过伪彩色映射带来的信息损失坏处是不能直接喂给 OpenCV 或 PyTorch 的视觉模型必须转成灰度图或伪彩色图。这套数据集里的红外 CSV 文件每个文件对应一帧红外图像数值范围通常在 0 到 255 或者更大的温度区间内具体取决于采集设备。你需要先读进来看看数值范围再决定归一化策略。2.2 可见光与红外的空间对应关系输电线路场景下红外和可见光图像通常由双光吊舱同时采集两个传感器的视场角、分辨率、安装位置都有差异。这意味着同一时刻拍到的两张图像素并不是一一对应的。可见光图像里绝缘子在画面左上角红外图像里可能偏右下而且大小比例也不一样。这套数据集提供的可见光图像是常规格式红外是 CSV两者之间的空间对应关系需要靠配准来建立。配准的目标就是找到一个变换矩阵把红外图像映射到可见光图像的坐标系下让同一物理位置在两个模态中重合。没有配准这一步融合出来的结果就是重影分割标签也没法用。常见做法是先用特征点匹配或者互信息法做粗配准再用仿射变换做精调。这套数据集的配准对已经按拍摄场景做了初步整理但具体变换参数需要你自己根据图像内容计算。2.3 分割标签的格式与使用方式分割标签是这套资源里比较有价值的部分。输电线路巡检的分割任务通常关注几类目标绝缘子、防震锤、均压环、导线、金具等。标签一般以掩膜图的形式提供每个像素值代表类别索引0 通常是背景。使用的时候你需要把标签图 resize 到和融合后图像相同的尺寸然后转成 one-hot 或者直接作为 CrossEntropyLoss 的 target。注意标签图如果是 PNG 格式读取时要用cv2.IMREAD_GRAYSCALE或者PIL.Image.open后转 numpy不要用默认的彩色读取否则类别索引会被映射成 RGB 值训练时直接报错。这套数据集的标签和可见光图像是对齐的所以配准红外之后标签可以直接复用不需要重新标注。3. 把 CSV 红外图像转成可用图像Python 转换脚本与参数调优3.1 读取 CSV 并还原温度矩阵拿到 CSV 文件后第一步是确认它的结构。有的 CSV 第一行是表头有的没有有的用逗号分隔有的用分号。我一般先用 pandas 读一下前几行看看。下面这个脚本假设 CSV 没有表头纯数值矩阵分隔符是逗号。import pandas as pd import numpy as np import cv2 def csv_to_temperature_matrix(csv_path): # 读取CSV假设无表头全部为数值 df pd.read_csv(csv_path, headerNone) # 转成numpy数组数据类型为float32 temp_matrix df.values.astype(np.float32) return temp_matrix # 示例读取一个CSV文件 temp csv_to_temperature_matrix(ir_sample.csv) print(矩阵形状:, temp.shape) print(温度范围:, temp.min(), temp.max())这段代码的逻辑很直接用 pandas 把 CSV 读成 DataFrame再转成 numpy 数组。关键参数是headerNone如果 CSV 第一行是列名这里会报错或者多出一行需要改成header0。读取后打印形状和数值范围是为了确认数据是否完整。如果形状是 (256, 320) 这种说明是标准的红外分辨率如果数值范围是 0 到 255那可能是已经量化过的灰度值不是原始温度。这一步不做任何归一化先看清楚原始数据长什么样。3.2 温度矩阵归一化与伪彩色映射原始温度矩阵的数值范围可能很大比如 20 到 400 摄氏度直接转成 uint8 会截断。需要先归一化到 0 到 255再转灰度图。如果要做伪彩色可以用 OpenCV 的applyColorMap。def normalize_to_uint8(temp_matrix): # 线性归一化到0-255 min_val temp_matrix.min() max_val temp_matrix.max() if max_val - min_val 1e-6: return np.zeros_like(temp_matrix, dtypenp.uint8) normalized (temp_matrix - min_val) / (max_val - min_val) * 255.0 return normalized.astype(np.uint8) def save_ir_image(temp_matrix, save_path, use_colormapTrue): gray normalize_to_uint8(temp_matrix) if use_colormap: # 使用JET伪彩色突出温度差异 color_img cv2.applyColorMap(gray, cv2.COLORMAP_JET) cv2.imwrite(save_path, color_img) else: cv2.imwrite(save_path, gray) # 转换并保存 save_ir_image(temp, ir_sample.png, use_colormapFalse)归一化这里有个坑如果某一帧红外图像整体温度很均匀max 和 min 差距极小除法会出问题所以加了一个判断。use_colormap参数控制是否输出伪彩色图。做融合任务时通常用灰度图作为输入因为伪彩色会引入人工颜色干扰融合算法对真实热辐射的建模。但如果是做可视化展示JET 伪彩色更直观。保存时注意 OpenCV 的imwrite要求 uint8 类型归一化后的数组正好满足。3.3 批量转换与文件命名对齐实际使用中不可能一帧一帧手动转需要批量处理整个文件夹并且保证转换后的红外图像文件名和可见光图像、标签图一一对应。import os import glob def batch_convert_ir_csv(csv_dir, output_dir, use_colormapFalse): os.makedirs(output_dir, exist_okTrue) csv_files glob.glob(os.path.join(csv_dir, *.csv)) for csv_path in csv_files: # 提取文件名不含扩展名 base_name os.path.splitext(os.path.basename(csv_path))[0] temp_matrix csv_to_temperature_matrix(csv_path) save_path os.path.join(output_dir, base_name .png) save_ir_image(temp_matrix, save_path, use_colormap) print(f转换完成: {base_name}) # 执行批量转换 batch_convert_ir_csv(ir_csv_folder, ir_png_folder, use_colormapFalse)批量转换的核心是文件名对齐。假设可见光图像叫visible_001.jpg标签叫label_001.png那红外 CSV 最好也叫ir_001.csv转换后得到ir_001.png。如果原始命名不一致需要在这里加一层映射逻辑比如用正则提取编号。glob.glob返回的顺序不保证和可见光文件夹一致所以后续配准和融合时建议用字典按编号索引而不是靠列表顺序。转换完成后检查一下输出文件夹里 PNG 数量是否和 CSV 数量一致少了就是有文件读取失败去看报错信息。4. 图像配准实战从特征点到仿射变换的完整链路4.1 配准为什么不能跳过有人可能会想红外和可见光都是同一场景拍的直接叠在一起不就行了实际数据会告诉你不行。双光吊舱的两个传感器光轴有平行度误差视场角不同分辨率也不同。我见过一组数据可见光图像里绝缘子占画面三分之一红外里只占五分之一而且位置偏了上百像素。不做配准直接融合边缘全是重影分割标签套上去更是错位。配准的本质是求解一个空间变换让两个模态的像素在几何上对齐。对于输电线路这种场景目标距离远、纹理重复配准难度比一般自然图像高需要选对方法。4.2 基于特征点的粗配准常见做法是先用 SIFT 或 ORB 提取特征点匹配后计算单应性矩阵。但红外和可见光图像灰度差异大直接匹配效果往往不好。我一般会先把红外灰度图做直方图均衡化增强对比度再用 SIFT。import cv2 import numpy as np def coarse_register(ir_gray, vis_gray): # 直方图均衡化增强红外对比度 ir_eq cv2.equalizeHist(ir_gray) # 创建SIFT检测器 sift cv2.SIFT_create() kp1, des1 sift.detectAndCompute(ir_eq, None) kp2, des2 sift.detectAndCompute(vis_gray, None) # FLANN匹配器 index_params dict(algorithm1, trees5) search_params dict(checks50) flann cv2.FlannBasedMatcher(index_params, search_params) matches flann.knnMatch(des1, des2, k2) # Lowes ratio test good_matches [] for m, n in matches: if m.distance 0.75 * n.distance: good_matches.append(m) if len(good_matches) 10: print(匹配点不足配准失败) return None src_pts np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2) dst_pts np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2) # 计算单应性矩阵 H, mask cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) return H这段代码的关键参数是ratio0.75这是 Lowe 推荐的阈值小于这个值才算可靠匹配。RANSAC的重投影误差阈值设为 5.0 像素对于输电线路场景可以适当放宽到 8.0因为远距离目标特征点定位精度有限。如果good_matches少于 10 个说明特征匹配失败这时候不要硬算单应性矩阵否则会得到一个完全错误的变换。失败的原因通常是红外图像纹理太弱或者两个模态视场差异太大。遇到这种情况可以尝试用互信息法或者手动选点。4.3 仿射变换与像素对齐验证得到单应性矩阵后用warpPerspective把红外图像变换到可见光坐标系。def apply_registration(ir_img, H, output_size): # output_size格式为(width, height) registered cv2.warpPerspective(ir_img, H, output_size) return registered # 假设vis_gray是可见光灰度图获取其尺寸 h, w vis_gray.shape registered_ir apply_registration(ir_gray, H, (w, h)) # 验证将配准后的红外和可见光叠加 overlay cv2.addWeighted(vis_gray, 0.5, registered_ir, 0.5, 0) cv2.imwrite(overlay_check.png, overlay)验证配准效果最直接的方法就是叠加显示。如果绝缘子边缘在叠加图里基本重合说明配准可用如果还有明显错位需要调整。warpPerspective的输出尺寸必须和可见光图像一致否则后续融合和标签对齐都会出问题。注意output_size的参数顺序是 (width, height)而 numpy 的 shape 是 (height, width)这里容易搞反。配准后的红外图像边缘可能会有黑色填充区域这是正常的融合时可以通过掩膜忽略。4.4 配准失败时的备选方案特征点法不是万能的。输电线路场景里如果红外图像里导线和背景温差小SIFT 根本提不出稳定特征点。这时候可以退而求其次用基于区域的配准方法比如归一化互信息。OpenCV 没有直接提供互信息配准但可以用cv2.findTransformECC做增强相关系数配准它对模态差异有一定的鲁棒性。def ecc_register(ir_gray, vis_gray): # 定义仿射变换矩阵初始值 warp_matrix np.eye(2, 3, dtypenp.float32) # 设置迭代参数 criteria (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 500, 1e-6) try: cc, warp_matrix cv2.findTransformECC(vis_gray, ir_gray, warp_matrix, cv2.MOTION_AFFINE, criteria) return warp_matrix except cv2.error as e: print(ECC配准失败:, e) return NoneECC 配准要求两幅图尺寸一致所以需要先把红外图 resize 到和可见光一样大。它的输出是一个 2x3 的仿射矩阵用warpAffine应用。这个方法计算量大但不需要特征点适合纹理弱的场景。实际项目中我通常先用 SIFT 试失败再切 ECC两者结合能覆盖大部分情况。5. 避坑与排查配准融合链路里最容易翻车的五个点5.1 现象转换后的红外图像全黑或全白原因CSV 里的数值范围极端比如全是 0 或者全是同一个值归一化时除以零或者映射到单一灰度。也有可能是 CSV 读取时分隔符不对pandas 把整行读成了一个字符串。解决读取后先打印temp_matrix.min()和temp_matrix.max()如果两者相等说明这帧数据无效直接跳过。如果数值范围正常但图像仍全黑检查pd.read_csv的sep参数有的 CSV 用制表符或分号分隔。另外确认header参数是否正确把表头读成数据也会导致异常。5.2 现象SIFT 匹配点数量够但单应性矩阵变换后图像完全错位原因匹配点里存在大量误匹配RANSAC 虽然能剔除一部分但如果误匹配比例超过 50%算出来的矩阵就是错的。输电线路场景里重复纹理比如成排的绝缘子会导致特征点错误对应。解决在 Lowes ratio test 之后再加一层几何验证。比如用cv2.findFundamentalMat先算基础矩阵剔除不满足极线约束的匹配点。或者直接限制匹配点对的距离超过图像对角线 20% 的匹配对丢弃。如果还是不行改用 ECC 配准。5.3 现象配准后叠加图看着对齐了但分割标签套上去还是错位原因标签图可能经过了 resize 或者裁剪和可见光图像不是严格像素对应。也有可能是配准时只对齐了红外和可见光但标签是基于原始可见光标注的如果可见光本身有畸变校正标签没同步校正就会错位。解决先确认标签图和可见光图像的尺寸是否完全一致。如果不一致用最近邻插值 resize 标签图不要用双线性插值否则类别索引会被插值成小数。如果可见光做过畸变校正标签也必须用同样的参数校正。最稳妥的办法是拿一张标签叠加到可见光上可视化检查确认无误后再做配准。5.4 现象批量转换时部分 CSV 读取报错程序中断原因文件夹里混入了非 CSV 文件或者某个 CSV 文件损坏、编码格式不同。glob.glob(*.csv)只匹配扩展名不保证文件内容合法。解决在循环里加 try-except捕获异常后记录文件名并跳过不要让它中断整个批次。同时用os.path.getsize检查文件大小0 字节的文件直接跳过。编码问题可以用pd.read_csv(csv_path, encodingutf-8)或encodinggbk尝试。5.5 现象融合后的图像在目标边缘出现彩色伪影原因红外和可见光配准残差在边缘处被放大融合算法把错位的边缘信息叠加在一起产生伪彩色。另外如果红外伪彩色图和可见光融合颜色空间不匹配也会导致伪影。解决做融合时用红外灰度图不要用伪彩色图。配准后对红外图像做一次边缘羽化或者在融合前用导向滤波对红外图像做平滑减少配准残差的影响。如果伪影仍然明显说明配准精度不够回到第 4 章检查配准环节。6. 从配准到融合训练一个可复现的验证脚本与精度检查习惯配准做完只是第一步最终要验证这套数据能不能训出可用的分割模型。我一般会写一个最小闭环脚本读一对配准后的红外和可见光图像做简单加权融合送进一个轻量分割网络跑几个 epoch 看 loss 是否下降。下面这个脚本用 PyTorch 搭了一个极简的双流输入分割模型重点不是模型多强而是验证数据链路是否通畅。import torch import torch.nn as nn import torch.nn.functional as F import cv2 import numpy as np class SimpleFusionSeg(nn.Module): def __init__(self, num_classes5): super().__init__() # 双流输入红外和可见光各3通道灰度复制或伪彩色 self.conv1 nn.Conv2d(6, 32, 3, padding1) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.conv3 nn.Conv2d(64, num_classes, 1) def forward(self, ir, vis): # 沿通道维拼接 x torch.cat([ir, vis], dim1) x F.relu(self.conv1(x)) x F.relu(self.conv2(x)) x self.conv3(x) return x # 模拟数据加载 def load_pair(ir_path, vis_path, label_path): ir cv2.imread(ir_path, cv2.IMREAD_GRAYSCALE) vis cv2.imread(vis_path, cv2.IMREAD_GRAYSCALE) label cv2.imread(label_path, cv2.IMREAD_GRAYSCALE) # 统一尺寸 h, w 256, 256 ir cv2.resize(ir, (w, h)) vis cv2.resize(vis, (w, h)) label cv2.resize(label, (w, h), interpolationcv2.INTER_NEAREST) # 转tensor增加batch和通道维 ir_t torch.from_numpy(ir).float().unsqueeze(0).unsqueeze(0) / 255.0 vis_t torch.from_numpy(vis).float().unsqueeze(0).unsqueeze(0) / 255.0 # 红外单通道复制成3通道 ir_t ir_t.repeat(1, 3, 1, 1) vis_t vis_t.repeat(1, 3, 1, 1) label_t torch.from_numpy(label).long().unsqueeze(0) return ir_t, vis_t, label_t # 训练一步 model SimpleFusionSeg(num_classes5) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() ir_t, vis_t, label_t load_pair(registered_ir.png, visible.png, label.png) optimizer.zero_grad() output model(ir_t, vis_t) loss criterion(output, label_t) loss.backward() optimizer.step() print(单步loss:, loss.item())这个脚本里load_pair函数把红外和可见光都 resize 到 256x256标签用最近邻插值保持类别索引不变。红外单通道复制成三通道是为了和可见光通道数对齐方便拼接。模型本身很简单两个卷积层加一个 1x1 卷积输出类别 logits。跑一步反向传播如果 loss 能正常计算并下降说明数据读取、配准、标签对齐这条链路是通的。如果 loss 是 nan检查输入图像是否归一化、标签里是否有超出类别数的值。如果 loss 不降可能是配准没做好融合后的特征对分割任务没有帮助。验证配准精度还有一个习惯每次配准完随机抽 5 对图像把红外边缘叠加到可见光上用cv2.addWeighted生成检查图肉眼过一遍。如果边缘重合度差不要急着往下走先调配准参数。我见过太多人配准没做好就直接训模型结果精度上不去回头排查浪费好几天。从那以后我每次拿到新的多模态数据都强制走一遍「转换-配准-叠加检查-单步训练」的流程确认无误再开大规模训练。希望帮到你。本文还有配套的精品资源点击获取
