1. Mira系列传感器到底解决了AI视觉的哪些老大难AI视觉系统这几年进步飞快但真正在一线做过落地项目的人都知道算法再强前端图像采集这一环拉胯后面全是白搭。我做过几个工业质检和户外监控的项目最头疼的问题往往不是模型精度不够而是传感器在特定光照条件下看不见或者看不准。Mira系列可见光和近红外图像传感器之所以值得单独拿出来聊就是因为它在让AI真正看清世界这件事上切中了好几个长期存在的痛点。先说说可见光和近红外的区别。人眼能感知的波长范围大约在380nm到780nm之间这就是所谓的可见光波段。而近红外通常指780nm到2500nm这个区间人眼对这段是完全失明的。但很多物理现象在近红外波段反而表现得更加清晰——比如树叶在近红外下反射率极高呈现亮白色而水体在近红外下几乎全吸收呈现深黑色。这种特性对于AI做语义分割、目标检测来说等于多了一个维度的信息通道。Mira系列的核心价值在于它把可见光成像和近红外成像集成在同一个传感器上而不是像传统方案那样用两个独立的相机模组。这个差异听起来只是集成度的问题但实际影响远不止于此。双相机方案最大的坑在于视差校准——两个镜头物理位置不同拍出来的画面存在偏移做图像融合之前必须先做配准。配准这件事在实验室里用棋盘格标定板很容易搞定但到了现场温度变化、震动、镜头老化都会让标定参数漂移你得定期重新标定维护成本极高。Mira系列单传感器方案从根上消除了这个问题可见光和近红外通道天然像素对齐融合算法可以直接在像素级操作省掉了大量预处理工作。另一个容易被忽视的点是帧同步。双相机方案如果不同步运动物体在两个通道里的位置会对不上融合出来的图像边缘会出现重影。Mira系列因为是同一颗芯片同时输出两个通道的数据时间戳完全一致这个问题自然不存在。我在一个传送带分拣项目里就吃过这个亏当时用两个独立相机做可见光近红外融合传送带速度一快融合图像就糊成一片后来换成单传感器方案才彻底解决。从AI应用的角度看Mira系列解决的核心问题是数据质量的确定性。AI模型训练和推理都依赖输入数据的稳定性如果图像采集环节存在视差、不同步、光照适应范围窄等问题模型的表现就会大打折扣。Mira系列通过硬件层面的设计把这些不确定性降到了最低让AI算法能够在一个更干净的数据基础上工作。2. 拆解Mira系列的技术底子从像素结构到量子效率要理解Mira系列为什么适合AI视觉得从它的技术架构说起。虽然官方没有公开全部细节但基于CMOS图像传感器的通用设计逻辑和近红外增强的常见技术路线我们可以合理推断出它的几个关键技术特征。2.1 像素结构与近红外量子效率的取舍CMOS图像传感器的基本单元是像素每个像素的核心是一个光电二极管负责把入射光子转换成电子。对于可见光硅材料的吸收深度较浅光子很容易在光电二极管区域内被吸收并产生电子。但近红外光子的能量较低穿透深度大得多——在硅材料中850nm的近红外光穿透深度大约是10微米到20微米而蓝光450nm只有不到1微米。这意味着如果光电二极管的耗尽区不够深近红外光子就会穿透过去而无法被有效收集导致近红外量子效率极低。Mira系列要在同一像素里同时做好可见光和近红外就必须在像素结构上做特殊设计。常见的做法是加深耗尽区让光电二极管的收集区域向硅衬底深处延伸。但这会带来一个副作用可见光尤其是蓝光的响应可能会受到影响因为蓝光在表面就被吸收了如果表面结构设计不当蓝光电子可能来不及被收集就复合掉了。所以这里存在一个工程上的平衡——既要保证近红外有足够的吸收深度又不能牺牲可见光的短波响应。我推测Mira系列可能采用了多层光电二极管结构或者梯度掺杂的耗尽区设计。多层结构可以在不同深度设置收集节点浅层负责可见光深层负责近红外然后通过读出电路分别提取。梯度掺杂则是通过控制掺杂浓度分布在硅片内部形成一个内建电场引导不同深度产生的电子向收集节点移动。这两种方案各有优劣多层结构的光谱分离更干净但工艺复杂度高梯度掺杂工艺相对简单但对近红外的增强效果有限。2.2 可见光与近红外通道的读出与分离单传感器同时输出可见光和近红外通道读出电路的设计是关键。常见的方案有两种一种是顺序读出先读可见光通道再读近红外通道通过控制曝光时间和读出时序来分离信号另一种是并行读出两个通道同时积分、同时读出互不干扰。顺序读出的优点是电路简单、像素面积利用率高但缺点也很明显——两个通道的曝光时间不同步对于动态场景会出现运动模糊不一致的问题。并行读出则解决了同步问题但需要更复杂的像素内存储和读出电路像素面积会增大影响分辨率。从AI应用的需求来看并行读出显然是更优的选择。因为AI视觉处理往往需要可见光和近红外图像严格对齐顺序读出带来的时间差在高速场景下是不可接受的。我猜测Mira系列采用了某种形式的并行读出架构可能是通过像素内双存储节点或者列级双读出通道来实现的。2.3 动态范围与信噪比的工程平衡AI视觉系统对动态范围的要求往往比人眼观看更高。原因很简单人眼有极强的自适应能力从暗室到阳光下的亮度变化瞳孔和视网膜会自动调节但图像传感器是线性的一旦某个区域过曝信息就永久丢失了。对于AI算法来说过曝区域和欠曝区域都是盲区会导致检测和识别失败。Mira系列如果要在户外场景比如自动驾驶、安防监控中表现出色就必须有足够高的动态范围。常见的技术手段包括双转换增益、多次曝光合成和对数响应。双转换增益是在像素内设置两个不同的转换增益档位低增益用于强光、高增益用于弱光然后合成输出。多次曝光合成则是用不同的曝光时间拍多帧然后合成HDR图像。对数响应则是让像素的输出与光强呈对数关系压缩动态范围。从AI应用的角度双转换增益可能是最合适的方案因为它是在单次曝光内完成的不会引入运动伪影。多次曝光合成虽然动态范围更高但多帧之间的时间差会导致运动物体出现鬼影对AI检测来说是个麻烦。2.4 与AI处理器的接口与数据吞吐Mira系列作为AI视觉系统的前端还需要考虑与后端AI处理器的接口问题。高分辨率、高帧率的图像数据量是很大的——比如一个500万像素的传感器如果每个像素输出可见光和近红外两个通道每个通道12bit帧率30fps那么数据率就是 500万 × 2 × 12 × 30 ≈ 3.6 Gbps。这个数据率对接口带宽提出了很高的要求。常见的接口方案包括MIPI CSI-2、LVDS和并行接口。MIPI CSI-2因为引脚少、带宽高、功耗低在移动和嵌入式AI视觉系统中应用最广。Mira系列如果面向AI应用大概率会采用MIPI CSI-2接口并且可能支持多通道输出以便把可见光和近红外数据分别传输给AI处理器。3. 可见光与近红外融合在AI视觉中的实战价值聊完技术底子我们来看看Mira系列这种可见光近红外单传感器方案在实际AI视觉项目中到底能带来什么价值。我结合自己做过的几个项目从具体场景出发来分析。3.1 工业质检近红外穿透表面看清内部结构工业质检是近红外成像的经典应用场景。很多产品表面有涂层、塑料外壳或者封装材料可见光下只能看到表面但内部的结构缺陷比如裂纹、气泡、异物在近红外下会显现出来。因为很多高分子材料对近红外是半透明的而对可见光是不透明的。我之前做过一个锂电池极片涂布质检的项目。极片表面是黑色的活性材料涂层可见光下就是一片黑什么都看不出来。但用近红外成像涂层的厚度均匀性、有没有露箔、有没有划痕都能看得很清楚。当时用的是分立的近红外相机体积大、成本高而且和可见光相机做融合时视差问题很头疼。如果当时有Mira系列这种单传感器方案整个系统的复杂度和成本都能降不少。具体到AI算法层面可见光和近红外融合带来的最大好处是特征互补。可见光图像提供了丰富的颜色和纹理信息适合做表面缺陷检测近红外图像提供了内部结构信息适合做穿透性检测。两个通道的图像在像素级对齐后可以直接拼接成一个多通道输入比如RGBIR四通道送给CNN网络做端到端的训练。相比单通道输入多通道输入让网络能够学到更丰富的特征表示检测精度通常会有明显提升。3.2 户外安防近红外主动照明下的全天候监控安防监控是另一个近红外大显身手的领域。白天可见光图像质量很好但到了晚上可见光相机就抓瞎了。传统的做法是用红外补光灯通常是850nm或940nm的LED阵列主动照明然后用对近红外敏感的相机成像。但这里有个问题如果相机只对近红外敏感白天就需要切换滤光片机械结构复杂且容易故障如果相机同时对可见光和近红外敏感白天近红外会污染可见光图像导致颜色失真。Mira系列的方案是同时输出可见光和近红外两个通道白天用可见光通道做彩色成像晚上用近红外通道配合补光灯做黑白成像或者两个通道融合输出。这样既不需要机械切换滤光片又能保证全天候的图像质量。对于AI算法来说全天候监控的最大挑战是光照条件变化导致的域偏移。白天训练的模型到了晚上因为图像风格完全不同精度会大幅下降。可见光近红外双通道输入可以让模型在训练时同时看到两种光照条件下的图像学习到光照不变的特征表示。我在一个园区安防项目里试过这种方法把可见光和近红外图像同时输入给检测网络晚上的人体检测召回率比单用近红外图像提升了将近15个百分点。3.3 自动驾驶与辅助驾驶近红外增强恶劣天气感知自动驾驶对传感器的要求极高尤其是在雨雾、沙尘等恶劣天气下可见光相机的能见度会大幅下降。近红外光在这些介质中的穿透能力比可见光强因为散射效应与波长的四次方成反比瑞利散射波长越长散射越弱。虽然雨雾中的散射主要是米氏散射但近红外仍然有一定的穿透优势。更重要的是近红外对生物体的反射特性很特殊。人的皮肤在近红外下反射率较高而衣物尤其是深色衣物在近红外下反射率较低这使得行人在近红外图像中与背景的对比度更高。对于自动驾驶的行人检测任务来说这是一个很有价值的特性。Mira系列如果用在自动驾驶的前视相机上可以同时输出可见光和近红外图像让感知算法在恶劣天气下仍然有可靠的输入。当然车规级应用对传感器的可靠性、温度范围、寿命都有严格要求Mira系列是否满足这些要求需要看具体的产品规格。3.4 农业与植被监测近红外波段独有的植被指数农业遥感是近红外成像的传统优势领域。健康植被在近红外波段的反射率很高而在红光波段吸收很强因为叶绿素的光合作用。这两个波段的反射率差异可以用来计算归一化植被指数NDVI是评估植被健康状态的核心指标。传统的NDVI计算需要两个独立的相机或者一个多光谱相机成本高、体积大。Mira系列如果能够同时输出可见光包含红光通道和近红外通道就可以直接计算NDVI而且因为是同一传感器像素天然对齐计算精度更高。对于AI应用来说NDVI可以作为额外的输入通道帮助模型区分植被和非植被区域或者评估农作物的生长状态。我在一个精准农业项目里用过多光谱数据做作物病害检测发现加入近红外通道后病害区域的识别准确率有明显提升因为病害会导致叶片细胞结构破坏近红外反射特性会发生改变。4. 把Mira系列用起来从选型到算法适配的实操路径如果你正在考虑在AI视觉项目中使用Mira系列或者类似的可见光近红外单传感器方案下面这些实操经验可能对你有帮助。这些都是我在实际项目中踩过坑之后总结出来的不是教科书上的理论。4.1 选型阶段需要确认的几个关键参数拿到一款图像传感器的规格书很多人第一眼就看分辨率、帧率、像素尺寸这些常规参数。但对于可见光近红外双通道传感器有几个参数需要特别关注。近红外量子效率曲线是最重要的参数之一。规格书上通常会给出不同波长下的量子效率QE你需要重点关注850nm和940nm这两个常用近红外补光波长下的QE值。如果850nm的QE低于30%那这个传感器在近红外下的灵敏度就比较勉强了可能需要更强的补光或者更长的曝光时间。通道隔离度是另一个关键参数。可见光通道和近红外通道之间的串扰越小越好。如果隔离度不够可见光通道会混入近红外信号导致颜色失真近红外通道会混入可见光信号导致近红外图像的对比度下降。规格书上如果有通道隔离度的指标一定要仔细看。动态范围和信噪比也需要根据应用场景来评估。户外场景建议动态范围至少达到100dB以上室内场景70dB到80dB通常够用。信噪比则直接影响暗光下的图像质量对于夜间监控应用信噪比越高越好。下面是一个简单的选型对照表供参考参数工业质检户外安防自动驾驶农业监测分辨率500万以上200万-500万800万以上100万-200万帧率30fps以上25fps-30fps30fps以上10fps-30fps近红外QE850nm40%30%40%50%动态范围80dB100dB120dB80dB通道隔离度30dB25dB30dB35dB4.2 光学系统的匹配与滤光片选择Mira系列虽然同时输出可见光和近红外通道但光学系统仍然需要仔细设计。镜头需要同时支持可见光和近红外波段的透射普通的光学玻璃在近红外波段的透射率可能不理想需要选择专门的红外校正镜头或者使用低色散玻璃。滤光片的选择也很关键。如果应用场景不需要近红外信息可以在镜头前加一个红外截止滤光片只让可见光通过。如果需要在白天和夜间切换可以考虑电动切换的滤光片轮但机械结构的可靠性需要评估。更优雅的方案是利用Mira系列的双通道特性白天用可见光通道夜间用近红外通道不需要机械切换。注意近红外光的焦点位置与可见光不同因为镜头的折射率随波长变化。如果光学系统没有做红外校正近红外图像可能会出现失焦。选择镜头时一定要确认是否支持红外校正或者在实际使用中重新对焦。4.3 数据管线的搭建与同步采集Mira系列输出的是两路图像数据后端需要有一个能够同时接收和处理两路数据的管线。如果使用MIPI CSI-2接口需要确认AI处理器的MIPI接口是否支持多路虚拟通道Virtual Channel或者是否需要两个独立的MIPI接口。数据同步是另一个需要注意的点。虽然Mira系列在传感器内部保证了两个通道的曝光同步但数据传输过程中可能会有延迟差异。如果AI算法对时间同步要求很高需要在软件层面做时间戳对齐。我在一个项目中用的是NVIDIA Jetson平台MIPI CSI-2接口支持虚拟通道可以同时接收两路图像数据。但Jetson的ISP图像信号处理器默认只处理一路数据需要修改设备树配置才能同时处理两路。这个配置过程比较折腾建议提前查好平台的文档和社区经验。4.4 融合算法的选择与训练策略可见光和近红外图像的融合可以在不同层级进行像素级融合、特征级融合和决策级融合。对于AI视觉任务特征级融合通常是性价比最高的方案。像素级融合是把两个通道的图像直接拼接或者加权平均然后输入给网络。这种方案实现简单但网络需要自己学习如何从拼接的图像中提取有用特征训练难度较大。特征级融合是在网络中间层把两个通道的特征图进行融合比如通过注意力机制或者简单的通道拼接。这种方案让网络在不同层级分别处理可见光和近红外信息然后在合适的层级融合通常能取得更好的效果。决策级融合是两个通道分别过网络然后在输出层融合检测结果。这种方案灵活性最高但计算量也最大因为要跑两个网络。从训练策略来看数据增强是关键。可见光和近红外图像的配对数据往往不容易获取可以通过模拟的方式生成——比如把可见光图像转换成近红外风格用风格迁移或者简单的灰度化对比度调整来扩充训练集。另外随机丢弃某一个通道的数据作为正则化手段可以让网络学会在只有一个通道可用时也能工作提高鲁棒性。5. 实际部署中容易踩的坑与应对经验这一部分是我最想分享的因为这些都是真金白银换来的教训。Mira系列或者类似的可见光近红外传感器在实验室里跑通和在实际场景中稳定运行中间隔着无数个坑。5.1 近红外补光的不均匀性问题近红外补光灯LED阵列的光强分布通常不是均匀的中心强、边缘弱。这在近红外图像上表现为中心亮、四周暗对于AI检测来说边缘区域的暗部可能丢失细节。解决方法是使用漫射板或者多个LED从不同角度补光但这样会增加功耗和体积。我在一个夜间监控项目里遇到过这个问题后来通过平场校正来解决——在均匀白板前拍一张近红外图像作为参考然后用这张参考图对实际图像做归一化。这个方法在软件层面就能实现成本低效果好。但要注意平场校正需要定期更新因为LED的光强会随温度和时间衰减。5.2 可见光与近红外的色彩一致性问题如果AI算法需要在可见光和近红外图像之间做颜色相关的判断比如识别交通标志的颜色那么两个通道的色彩一致性就很重要。但近红外通道本身是没有颜色信息的只能提供亮度信息。如果直接把近红外图像当作灰度图使用和可见光图像的颜色空间不一致会给算法带来困扰。我的做法是把近红外通道作为独立的亮度通道不参与颜色计算只在特征层面和可见光通道融合。这样既利用了近红外的信息又不会干扰颜色相关的判断。5.3 温度漂移对暗电流的影响CMOS图像传感器的暗电流随温度升高而指数增长。近红外增强的传感器因为耗尽区更深暗电流通常比普通传感器更大。在高温环境下比如夏天户外的设备内部温度可能达到60度以上暗电流会导致图像出现大量噪点严重影响AI检测。应对措施包括散热设计加散热片或者风扇、暗电流校正定期拍摄暗帧并减除、温度补偿根据温度传感器读数调整曝光和增益。我在一个户外项目里用了散热片暗电流校正的组合效果比较明显但散热片增加了设备的体积和重量需要根据实际情况权衡。5.4 与AI处理器的带宽瓶颈前面提到过双通道高分辨率高帧率的数据率很容易超过AI处理器的接口带宽。我在一个项目里就遇到过这个问题传感器支持4K分辨率30fps双通道输出但Jetson的MIPI接口带宽不够只能降到1080p或者15fps。解决思路有几个降低分辨率如果AI任务不需要那么高的分辨率、降低帧率如果被检测物体运动不快、使用硬件压缩比如JPEG或者H.264编码后再传输但会引入压缩伪影、升级处理器换用带宽更高的平台。选择哪种方案取决于具体的应用需求和成本预算。5.5 标定与长期稳定性虽然Mira系列的单传感器方案消除了双相机之间的视差标定问题但仍然需要做非均匀性校正和坏点校正。非均匀性校正是因为每个像素的响应率不完全一致需要用一个均匀光源拍摄参考图像来计算校正系数。坏点校正是识别并替换那些永远不响应或者响应异常的像素。这些校正参数会随时间和温度变化需要定期更新。对于长期部署的设备建议设计一个自动校正流程比如每天凌晨自动拍摄暗帧和均匀光源帧更新校正参数。这个流程可以在设备端自动完成不需要人工干预。6. 从Mira系列看AI视觉传感器的未来演进方向Mira系列代表的是一种趋势传感器不再只是被动地采集图像而是主动地为AI算法提供更有价值的数据。传统的图像传感器追求的是人眼看起来好看而AI视觉传感器追求的是算法用起来好用。这两个目标并不完全一致。从技术演进的角度看未来AI视觉传感器可能会在以下几个方向继续发展。更多的光谱通道——可见光近红外只是开始未来可能会有可见光近红外短波红外的多光谱传感器为AI提供更丰富的光谱信息。像素内计算——把一些简单的预处理比如卷积、边缘检测放到传感器内部完成减少数据传输量。事件驱动读出——只输出有变化的像素大幅降低数据率和功耗适合always-on的AI应用。对于正在做AI视觉项目的从业者来说我的建议是不要只盯着算法前端传感器的选型和光学设计同样重要。一个好的传感器方案可以让你的算法事半功倍一个糟糕的传感器方案则会让你的算法永远达不到预期效果。Mira系列在可见光近红外单传感器这个方向上提供了一个很好的参考值得在实际项目中认真评估。我在实际使用中体会最深的一点是AI视觉系统的性能上限往往不是由算法决定的而是由数据质量决定的。传感器作为数据采集的第一环它的表现直接决定了整个系统的天花板。花时间在传感器选型和光学设计上做功课比在算法上反复调参的收益往往更大。
Mira系列可见光与近红外图像传感器：AI视觉数据质量的关键突破
1. Mira系列传感器到底解决了AI视觉的哪些老大难AI视觉系统这几年进步飞快但真正在一线做过落地项目的人都知道算法再强前端图像采集这一环拉胯后面全是白搭。我做过几个工业质检和户外监控的项目最头疼的问题往往不是模型精度不够而是传感器在特定光照条件下看不见或者看不准。Mira系列可见光和近红外图像传感器之所以值得单独拿出来聊就是因为它在让AI真正看清世界这件事上切中了好几个长期存在的痛点。先说说可见光和近红外的区别。人眼能感知的波长范围大约在380nm到780nm之间这就是所谓的可见光波段。而近红外通常指780nm到2500nm这个区间人眼对这段是完全失明的。但很多物理现象在近红外波段反而表现得更加清晰——比如树叶在近红外下反射率极高呈现亮白色而水体在近红外下几乎全吸收呈现深黑色。这种特性对于AI做语义分割、目标检测来说等于多了一个维度的信息通道。Mira系列的核心价值在于它把可见光成像和近红外成像集成在同一个传感器上而不是像传统方案那样用两个独立的相机模组。这个差异听起来只是集成度的问题但实际影响远不止于此。双相机方案最大的坑在于视差校准——两个镜头物理位置不同拍出来的画面存在偏移做图像融合之前必须先做配准。配准这件事在实验室里用棋盘格标定板很容易搞定但到了现场温度变化、震动、镜头老化都会让标定参数漂移你得定期重新标定维护成本极高。Mira系列单传感器方案从根上消除了这个问题可见光和近红外通道天然像素对齐融合算法可以直接在像素级操作省掉了大量预处理工作。另一个容易被忽视的点是帧同步。双相机方案如果不同步运动物体在两个通道里的位置会对不上融合出来的图像边缘会出现重影。Mira系列因为是同一颗芯片同时输出两个通道的数据时间戳完全一致这个问题自然不存在。我在一个传送带分拣项目里就吃过这个亏当时用两个独立相机做可见光近红外融合传送带速度一快融合图像就糊成一片后来换成单传感器方案才彻底解决。从AI应用的角度看Mira系列解决的核心问题是数据质量的确定性。AI模型训练和推理都依赖输入数据的稳定性如果图像采集环节存在视差、不同步、光照适应范围窄等问题模型的表现就会大打折扣。Mira系列通过硬件层面的设计把这些不确定性降到了最低让AI算法能够在一个更干净的数据基础上工作。2. 拆解Mira系列的技术底子从像素结构到量子效率要理解Mira系列为什么适合AI视觉得从它的技术架构说起。虽然官方没有公开全部细节但基于CMOS图像传感器的通用设计逻辑和近红外增强的常见技术路线我们可以合理推断出它的几个关键技术特征。2.1 像素结构与近红外量子效率的取舍CMOS图像传感器的基本单元是像素每个像素的核心是一个光电二极管负责把入射光子转换成电子。对于可见光硅材料的吸收深度较浅光子很容易在光电二极管区域内被吸收并产生电子。但近红外光子的能量较低穿透深度大得多——在硅材料中850nm的近红外光穿透深度大约是10微米到20微米而蓝光450nm只有不到1微米。这意味着如果光电二极管的耗尽区不够深近红外光子就会穿透过去而无法被有效收集导致近红外量子效率极低。Mira系列要在同一像素里同时做好可见光和近红外就必须在像素结构上做特殊设计。常见的做法是加深耗尽区让光电二极管的收集区域向硅衬底深处延伸。但这会带来一个副作用可见光尤其是蓝光的响应可能会受到影响因为蓝光在表面就被吸收了如果表面结构设计不当蓝光电子可能来不及被收集就复合掉了。所以这里存在一个工程上的平衡——既要保证近红外有足够的吸收深度又不能牺牲可见光的短波响应。我推测Mira系列可能采用了多层光电二极管结构或者梯度掺杂的耗尽区设计。多层结构可以在不同深度设置收集节点浅层负责可见光深层负责近红外然后通过读出电路分别提取。梯度掺杂则是通过控制掺杂浓度分布在硅片内部形成一个内建电场引导不同深度产生的电子向收集节点移动。这两种方案各有优劣多层结构的光谱分离更干净但工艺复杂度高梯度掺杂工艺相对简单但对近红外的增强效果有限。2.2 可见光与近红外通道的读出与分离单传感器同时输出可见光和近红外通道读出电路的设计是关键。常见的方案有两种一种是顺序读出先读可见光通道再读近红外通道通过控制曝光时间和读出时序来分离信号另一种是并行读出两个通道同时积分、同时读出互不干扰。顺序读出的优点是电路简单、像素面积利用率高但缺点也很明显——两个通道的曝光时间不同步对于动态场景会出现运动模糊不一致的问题。并行读出则解决了同步问题但需要更复杂的像素内存储和读出电路像素面积会增大影响分辨率。从AI应用的需求来看并行读出显然是更优的选择。因为AI视觉处理往往需要可见光和近红外图像严格对齐顺序读出带来的时间差在高速场景下是不可接受的。我猜测Mira系列采用了某种形式的并行读出架构可能是通过像素内双存储节点或者列级双读出通道来实现的。2.3 动态范围与信噪比的工程平衡AI视觉系统对动态范围的要求往往比人眼观看更高。原因很简单人眼有极强的自适应能力从暗室到阳光下的亮度变化瞳孔和视网膜会自动调节但图像传感器是线性的一旦某个区域过曝信息就永久丢失了。对于AI算法来说过曝区域和欠曝区域都是盲区会导致检测和识别失败。Mira系列如果要在户外场景比如自动驾驶、安防监控中表现出色就必须有足够高的动态范围。常见的技术手段包括双转换增益、多次曝光合成和对数响应。双转换增益是在像素内设置两个不同的转换增益档位低增益用于强光、高增益用于弱光然后合成输出。多次曝光合成则是用不同的曝光时间拍多帧然后合成HDR图像。对数响应则是让像素的输出与光强呈对数关系压缩动态范围。从AI应用的角度双转换增益可能是最合适的方案因为它是在单次曝光内完成的不会引入运动伪影。多次曝光合成虽然动态范围更高但多帧之间的时间差会导致运动物体出现鬼影对AI检测来说是个麻烦。2.4 与AI处理器的接口与数据吞吐Mira系列作为AI视觉系统的前端还需要考虑与后端AI处理器的接口问题。高分辨率、高帧率的图像数据量是很大的——比如一个500万像素的传感器如果每个像素输出可见光和近红外两个通道每个通道12bit帧率30fps那么数据率就是 500万 × 2 × 12 × 30 ≈ 3.6 Gbps。这个数据率对接口带宽提出了很高的要求。常见的接口方案包括MIPI CSI-2、LVDS和并行接口。MIPI CSI-2因为引脚少、带宽高、功耗低在移动和嵌入式AI视觉系统中应用最广。Mira系列如果面向AI应用大概率会采用MIPI CSI-2接口并且可能支持多通道输出以便把可见光和近红外数据分别传输给AI处理器。3. 可见光与近红外融合在AI视觉中的实战价值聊完技术底子我们来看看Mira系列这种可见光近红外单传感器方案在实际AI视觉项目中到底能带来什么价值。我结合自己做过的几个项目从具体场景出发来分析。3.1 工业质检近红外穿透表面看清内部结构工业质检是近红外成像的经典应用场景。很多产品表面有涂层、塑料外壳或者封装材料可见光下只能看到表面但内部的结构缺陷比如裂纹、气泡、异物在近红外下会显现出来。因为很多高分子材料对近红外是半透明的而对可见光是不透明的。我之前做过一个锂电池极片涂布质检的项目。极片表面是黑色的活性材料涂层可见光下就是一片黑什么都看不出来。但用近红外成像涂层的厚度均匀性、有没有露箔、有没有划痕都能看得很清楚。当时用的是分立的近红外相机体积大、成本高而且和可见光相机做融合时视差问题很头疼。如果当时有Mira系列这种单传感器方案整个系统的复杂度和成本都能降不少。具体到AI算法层面可见光和近红外融合带来的最大好处是特征互补。可见光图像提供了丰富的颜色和纹理信息适合做表面缺陷检测近红外图像提供了内部结构信息适合做穿透性检测。两个通道的图像在像素级对齐后可以直接拼接成一个多通道输入比如RGBIR四通道送给CNN网络做端到端的训练。相比单通道输入多通道输入让网络能够学到更丰富的特征表示检测精度通常会有明显提升。3.2 户外安防近红外主动照明下的全天候监控安防监控是另一个近红外大显身手的领域。白天可见光图像质量很好但到了晚上可见光相机就抓瞎了。传统的做法是用红外补光灯通常是850nm或940nm的LED阵列主动照明然后用对近红外敏感的相机成像。但这里有个问题如果相机只对近红外敏感白天就需要切换滤光片机械结构复杂且容易故障如果相机同时对可见光和近红外敏感白天近红外会污染可见光图像导致颜色失真。Mira系列的方案是同时输出可见光和近红外两个通道白天用可见光通道做彩色成像晚上用近红外通道配合补光灯做黑白成像或者两个通道融合输出。这样既不需要机械切换滤光片又能保证全天候的图像质量。对于AI算法来说全天候监控的最大挑战是光照条件变化导致的域偏移。白天训练的模型到了晚上因为图像风格完全不同精度会大幅下降。可见光近红外双通道输入可以让模型在训练时同时看到两种光照条件下的图像学习到光照不变的特征表示。我在一个园区安防项目里试过这种方法把可见光和近红外图像同时输入给检测网络晚上的人体检测召回率比单用近红外图像提升了将近15个百分点。3.3 自动驾驶与辅助驾驶近红外增强恶劣天气感知自动驾驶对传感器的要求极高尤其是在雨雾、沙尘等恶劣天气下可见光相机的能见度会大幅下降。近红外光在这些介质中的穿透能力比可见光强因为散射效应与波长的四次方成反比瑞利散射波长越长散射越弱。虽然雨雾中的散射主要是米氏散射但近红外仍然有一定的穿透优势。更重要的是近红外对生物体的反射特性很特殊。人的皮肤在近红外下反射率较高而衣物尤其是深色衣物在近红外下反射率较低这使得行人在近红外图像中与背景的对比度更高。对于自动驾驶的行人检测任务来说这是一个很有价值的特性。Mira系列如果用在自动驾驶的前视相机上可以同时输出可见光和近红外图像让感知算法在恶劣天气下仍然有可靠的输入。当然车规级应用对传感器的可靠性、温度范围、寿命都有严格要求Mira系列是否满足这些要求需要看具体的产品规格。3.4 农业与植被监测近红外波段独有的植被指数农业遥感是近红外成像的传统优势领域。健康植被在近红外波段的反射率很高而在红光波段吸收很强因为叶绿素的光合作用。这两个波段的反射率差异可以用来计算归一化植被指数NDVI是评估植被健康状态的核心指标。传统的NDVI计算需要两个独立的相机或者一个多光谱相机成本高、体积大。Mira系列如果能够同时输出可见光包含红光通道和近红外通道就可以直接计算NDVI而且因为是同一传感器像素天然对齐计算精度更高。对于AI应用来说NDVI可以作为额外的输入通道帮助模型区分植被和非植被区域或者评估农作物的生长状态。我在一个精准农业项目里用过多光谱数据做作物病害检测发现加入近红外通道后病害区域的识别准确率有明显提升因为病害会导致叶片细胞结构破坏近红外反射特性会发生改变。4. 把Mira系列用起来从选型到算法适配的实操路径如果你正在考虑在AI视觉项目中使用Mira系列或者类似的可见光近红外单传感器方案下面这些实操经验可能对你有帮助。这些都是我在实际项目中踩过坑之后总结出来的不是教科书上的理论。4.1 选型阶段需要确认的几个关键参数拿到一款图像传感器的规格书很多人第一眼就看分辨率、帧率、像素尺寸这些常规参数。但对于可见光近红外双通道传感器有几个参数需要特别关注。近红外量子效率曲线是最重要的参数之一。规格书上通常会给出不同波长下的量子效率QE你需要重点关注850nm和940nm这两个常用近红外补光波长下的QE值。如果850nm的QE低于30%那这个传感器在近红外下的灵敏度就比较勉强了可能需要更强的补光或者更长的曝光时间。通道隔离度是另一个关键参数。可见光通道和近红外通道之间的串扰越小越好。如果隔离度不够可见光通道会混入近红外信号导致颜色失真近红外通道会混入可见光信号导致近红外图像的对比度下降。规格书上如果有通道隔离度的指标一定要仔细看。动态范围和信噪比也需要根据应用场景来评估。户外场景建议动态范围至少达到100dB以上室内场景70dB到80dB通常够用。信噪比则直接影响暗光下的图像质量对于夜间监控应用信噪比越高越好。下面是一个简单的选型对照表供参考参数工业质检户外安防自动驾驶农业监测分辨率500万以上200万-500万800万以上100万-200万帧率30fps以上25fps-30fps30fps以上10fps-30fps近红外QE850nm40%30%40%50%动态范围80dB100dB120dB80dB通道隔离度30dB25dB30dB35dB4.2 光学系统的匹配与滤光片选择Mira系列虽然同时输出可见光和近红外通道但光学系统仍然需要仔细设计。镜头需要同时支持可见光和近红外波段的透射普通的光学玻璃在近红外波段的透射率可能不理想需要选择专门的红外校正镜头或者使用低色散玻璃。滤光片的选择也很关键。如果应用场景不需要近红外信息可以在镜头前加一个红外截止滤光片只让可见光通过。如果需要在白天和夜间切换可以考虑电动切换的滤光片轮但机械结构的可靠性需要评估。更优雅的方案是利用Mira系列的双通道特性白天用可见光通道夜间用近红外通道不需要机械切换。注意近红外光的焦点位置与可见光不同因为镜头的折射率随波长变化。如果光学系统没有做红外校正近红外图像可能会出现失焦。选择镜头时一定要确认是否支持红外校正或者在实际使用中重新对焦。4.3 数据管线的搭建与同步采集Mira系列输出的是两路图像数据后端需要有一个能够同时接收和处理两路数据的管线。如果使用MIPI CSI-2接口需要确认AI处理器的MIPI接口是否支持多路虚拟通道Virtual Channel或者是否需要两个独立的MIPI接口。数据同步是另一个需要注意的点。虽然Mira系列在传感器内部保证了两个通道的曝光同步但数据传输过程中可能会有延迟差异。如果AI算法对时间同步要求很高需要在软件层面做时间戳对齐。我在一个项目中用的是NVIDIA Jetson平台MIPI CSI-2接口支持虚拟通道可以同时接收两路图像数据。但Jetson的ISP图像信号处理器默认只处理一路数据需要修改设备树配置才能同时处理两路。这个配置过程比较折腾建议提前查好平台的文档和社区经验。4.4 融合算法的选择与训练策略可见光和近红外图像的融合可以在不同层级进行像素级融合、特征级融合和决策级融合。对于AI视觉任务特征级融合通常是性价比最高的方案。像素级融合是把两个通道的图像直接拼接或者加权平均然后输入给网络。这种方案实现简单但网络需要自己学习如何从拼接的图像中提取有用特征训练难度较大。特征级融合是在网络中间层把两个通道的特征图进行融合比如通过注意力机制或者简单的通道拼接。这种方案让网络在不同层级分别处理可见光和近红外信息然后在合适的层级融合通常能取得更好的效果。决策级融合是两个通道分别过网络然后在输出层融合检测结果。这种方案灵活性最高但计算量也最大因为要跑两个网络。从训练策略来看数据增强是关键。可见光和近红外图像的配对数据往往不容易获取可以通过模拟的方式生成——比如把可见光图像转换成近红外风格用风格迁移或者简单的灰度化对比度调整来扩充训练集。另外随机丢弃某一个通道的数据作为正则化手段可以让网络学会在只有一个通道可用时也能工作提高鲁棒性。5. 实际部署中容易踩的坑与应对经验这一部分是我最想分享的因为这些都是真金白银换来的教训。Mira系列或者类似的可见光近红外传感器在实验室里跑通和在实际场景中稳定运行中间隔着无数个坑。5.1 近红外补光的不均匀性问题近红外补光灯LED阵列的光强分布通常不是均匀的中心强、边缘弱。这在近红外图像上表现为中心亮、四周暗对于AI检测来说边缘区域的暗部可能丢失细节。解决方法是使用漫射板或者多个LED从不同角度补光但这样会增加功耗和体积。我在一个夜间监控项目里遇到过这个问题后来通过平场校正来解决——在均匀白板前拍一张近红外图像作为参考然后用这张参考图对实际图像做归一化。这个方法在软件层面就能实现成本低效果好。但要注意平场校正需要定期更新因为LED的光强会随温度和时间衰减。5.2 可见光与近红外的色彩一致性问题如果AI算法需要在可见光和近红外图像之间做颜色相关的判断比如识别交通标志的颜色那么两个通道的色彩一致性就很重要。但近红外通道本身是没有颜色信息的只能提供亮度信息。如果直接把近红外图像当作灰度图使用和可见光图像的颜色空间不一致会给算法带来困扰。我的做法是把近红外通道作为独立的亮度通道不参与颜色计算只在特征层面和可见光通道融合。这样既利用了近红外的信息又不会干扰颜色相关的判断。5.3 温度漂移对暗电流的影响CMOS图像传感器的暗电流随温度升高而指数增长。近红外增强的传感器因为耗尽区更深暗电流通常比普通传感器更大。在高温环境下比如夏天户外的设备内部温度可能达到60度以上暗电流会导致图像出现大量噪点严重影响AI检测。应对措施包括散热设计加散热片或者风扇、暗电流校正定期拍摄暗帧并减除、温度补偿根据温度传感器读数调整曝光和增益。我在一个户外项目里用了散热片暗电流校正的组合效果比较明显但散热片增加了设备的体积和重量需要根据实际情况权衡。5.4 与AI处理器的带宽瓶颈前面提到过双通道高分辨率高帧率的数据率很容易超过AI处理器的接口带宽。我在一个项目里就遇到过这个问题传感器支持4K分辨率30fps双通道输出但Jetson的MIPI接口带宽不够只能降到1080p或者15fps。解决思路有几个降低分辨率如果AI任务不需要那么高的分辨率、降低帧率如果被检测物体运动不快、使用硬件压缩比如JPEG或者H.264编码后再传输但会引入压缩伪影、升级处理器换用带宽更高的平台。选择哪种方案取决于具体的应用需求和成本预算。5.5 标定与长期稳定性虽然Mira系列的单传感器方案消除了双相机之间的视差标定问题但仍然需要做非均匀性校正和坏点校正。非均匀性校正是因为每个像素的响应率不完全一致需要用一个均匀光源拍摄参考图像来计算校正系数。坏点校正是识别并替换那些永远不响应或者响应异常的像素。这些校正参数会随时间和温度变化需要定期更新。对于长期部署的设备建议设计一个自动校正流程比如每天凌晨自动拍摄暗帧和均匀光源帧更新校正参数。这个流程可以在设备端自动完成不需要人工干预。6. 从Mira系列看AI视觉传感器的未来演进方向Mira系列代表的是一种趋势传感器不再只是被动地采集图像而是主动地为AI算法提供更有价值的数据。传统的图像传感器追求的是人眼看起来好看而AI视觉传感器追求的是算法用起来好用。这两个目标并不完全一致。从技术演进的角度看未来AI视觉传感器可能会在以下几个方向继续发展。更多的光谱通道——可见光近红外只是开始未来可能会有可见光近红外短波红外的多光谱传感器为AI提供更丰富的光谱信息。像素内计算——把一些简单的预处理比如卷积、边缘检测放到传感器内部完成减少数据传输量。事件驱动读出——只输出有变化的像素大幅降低数据率和功耗适合always-on的AI应用。对于正在做AI视觉项目的从业者来说我的建议是不要只盯着算法前端传感器的选型和光学设计同样重要。一个好的传感器方案可以让你的算法事半功倍一个糟糕的传感器方案则会让你的算法永远达不到预期效果。Mira系列在可见光近红外单传感器这个方向上提供了一个很好的参考值得在实际项目中认真评估。我在实际使用中体会最深的一点是AI视觉系统的性能上限往往不是由算法决定的而是由数据质量决定的。传感器作为数据采集的第一环它的表现直接决定了整个系统的天花板。花时间在传感器选型和光学设计上做功课比在算法上反复调参的收益往往更大。
