TPAMI 2026EvoFuse1. 一句话总结EvoFuse 将红外与可见光图像融合建模为多目标优化通过轻量可重参数化网络和进化搜索动态平衡融合质量与多种下游任务在 11 个数据集上取得多数指标最优或有竞争力的结果。2. 论文信息题目Symbiotic Evolutionary Learning for Task-Adaptive Infrared and Visible Image Fusion面向任务自适应红外-可见光图像融合的共生进化学习发表TPAMI 2026作者Jinyuan Liu、Bowei Zhang、Ludan Sun、Xingyuan Li、Long Ma、Risheng Liu、Xin Fan*单位大连理工大学软件学院浙江大学计算机科学与技术学院下载https://ieeexplore.ieee.org/document/11647354/3. 论文摘要传统的融合方法侧重于视觉效果但不能保证下游任务的效果任务驱动方法则常常使用固定权重组合不同目标容易顾此失彼。EvoFuse 通过任务自适应的方式优化多个目标并采用可重参数化网络、进化式权重搜索以及显著性判别损失在提高推理效率的同时改善融合质量与任务效果。图 1. 固定加权联合优化与共生进化学习的区别。4. 核心创新点创新点 1任务自适应多目标建模将视觉保真度和多种感知目标放在一起建模并依据帕累托偏好选择不会使其他任务退化的更新方向。创新点 2轻量可重参数化网络多样重加权架构Diverse Reweight ArchitectureDRA在训练过程中采用多分支增强表示推理时则折叠成单个卷积分支。创新点 3共生进化学习融合模型和任务模型相互适应并利用进化搜索动态调整损失权重显著性判别损失无需额外添加检测器即可强化重要区域。5. 方法详解5.1 整体框架输入是已经对齐的红外图像和可见光图像二者经过融合网络后得到融合图像。论文将融合损失以及各个任务损失组成一个向量目标其中融合网络参数 用来控制图像生成各个任务模型的参数则会随当前融合图像分布进行调整。该目标旨在寻找同时兼顾视觉效果和多任务效用的帕累托折中解。图 2.融合模型、任务模型以及进化学习构成的整体结构。5.2 轻量融合网络红外和可见光输入沿通道拼接为 网络由深层特征路径 和多尺度残差Multi-Scale ResidualMSR路径 构成其中深层特征路径采用包含 、、、、 卷积分支的 DRA多尺度残差路径则使用 、、、 尺度分支。在推理阶段两者分别被折叠为单个 或 卷积层在保持训练期间所学表示能力的同时降低部署成本。图 3.轻量融合网络和 DRA 的训练与推理结构。图 4.候选权重的选择、交叉、变异以及模型更新过程。5.3 进化搜索与显著性损失每轮先让任务模型适应当前的融合图像再把融合损失权重和任务损失权重编码成候选向量 。候选更新依据所有任务的验证准确率来选择而且需要保证每个任务都不退化否则继续使用原来的模型。论文还从多个方向提取红外和可见光图像的突出表示 、并用显著性判别损失约束融合结果其中 表示显著性判别损失 表示 范数。该损失不依赖外部显著性检测器也能让融合图像保留两种模态中响应较强的结构。5.4 损失函数融合损失包含梯度损失、均方误差损失、结构相似性损失、强度损失以及显著性判别损失。目标检测使用交叉熵损失、完整交并比损失和分布焦点损失语义分割使用像素交叉熵损失显著目标检测使用加权二元交叉熵损失和加权交并比损失。各项权重通过进化搜索动态调整。一句话理解该方法让多个任务共同评判候选融合方向只保留能够兼顾视觉效果和任务效用的更新。6. 实验结果6.1 实验设置实验涉及 TNO、RoadScene、FMB、M³FD、MFNet、VT821、VT1000、VT5000、MSOD、Potsdam、WHU 等数据集。四个融合测试集分别包含 300、221、57 和 280 对图像初始模型使用 M³FD 的 图像块训练 60 轮Adam 学习率设为 。进化阶段的外层迭代次数、进化轮数和种群大小分别为 5、5、6初始学习率为 。下游任务采用 YOLOv8s、SegFormer-B0 和 FC²Net实验使用单张 RTX 4090完整训练约需 29.39 小时。6.2 主要结果图 5.TNO、RoadScene、M³FD 融合结果的定性比较。表 I.四个融合数据集的定量结果。6.3 下游任务结果图 6.FMB 和 MFNet 的语义分割结果。图 7.VT821、VT1000、VT5000 的显著目标检测结果。图 8.M³FD 和 MSOD 的目标检测结果。图 9.Potsdam 和 WHU 的遥感分割结果。表 II.FMB 和 MFNet 的语义分割定量结果。表 III.三个显著目标检测数据集的定量结果。表 IV.M³FD 和 MSOD 的目标检测定量结果。表 V.WHU 和 Potsdam 的遥感分割定量结果。6.4 消融与复杂度目标检测、语义分割和显著目标检测三种约束全部启用时模型的综合表现最好。DRA 和 MSR 能够提高性能与稳定性显著性判别损失采用 4 倍权重时达到最佳平衡进化学习率设为 时效果最好。使用 2 个 DRA 时模型仅包含0.019M 参数FLOPs 为论文表中数值 14.65推理时间为7.911 ms论文没有明确标注 FLOPs 的单位。图 10.不同任务约束下的定性消融结果。图 11.不同网络结构下的指标分布。图 12.不同网络结构下的特征激活情况。图 13.****显著性判别损失消融的可视化结果。图 14.训练调度组件的消融结果。图 15.进化学习率消融结果。图 16.不同迭代阶段的结果。图 17.进化种群中间模型的指标变化。图 18.FLOPs、FPS 以及下游性能的比较。表 VI.不同任务约束组合的消融结果。表 VII.不同 DRA 数量下的性能和复杂度。7. 总结与展望EvoFuse 采用多目标建模、轻量可重参数化网络以及进化权重搜索使融合模型能够同时服务视觉质量和多种感知任务。实验表明该方法具有良好的综合表现和推理效率但迭代任务适应与进化搜索也使训练过程较为复杂并且最终结果会受到所选任务及监督信号的影响。一句话总结EvoFuse 的核心是让多个任务共同决定更合适的融合更新方向。往期推荐
TPAMI 2026｜大连理工 EvoFuse：让融合不再“顾此失彼”，多任务实现共生进化学习
TPAMI 2026EvoFuse1. 一句话总结EvoFuse 将红外与可见光图像融合建模为多目标优化通过轻量可重参数化网络和进化搜索动态平衡融合质量与多种下游任务在 11 个数据集上取得多数指标最优或有竞争力的结果。2. 论文信息题目Symbiotic Evolutionary Learning for Task-Adaptive Infrared and Visible Image Fusion面向任务自适应红外-可见光图像融合的共生进化学习发表TPAMI 2026作者Jinyuan Liu、Bowei Zhang、Ludan Sun、Xingyuan Li、Long Ma、Risheng Liu、Xin Fan*单位大连理工大学软件学院浙江大学计算机科学与技术学院下载https://ieeexplore.ieee.org/document/11647354/3. 论文摘要传统的融合方法侧重于视觉效果但不能保证下游任务的效果任务驱动方法则常常使用固定权重组合不同目标容易顾此失彼。EvoFuse 通过任务自适应的方式优化多个目标并采用可重参数化网络、进化式权重搜索以及显著性判别损失在提高推理效率的同时改善融合质量与任务效果。图 1. 固定加权联合优化与共生进化学习的区别。4. 核心创新点创新点 1任务自适应多目标建模将视觉保真度和多种感知目标放在一起建模并依据帕累托偏好选择不会使其他任务退化的更新方向。创新点 2轻量可重参数化网络多样重加权架构Diverse Reweight ArchitectureDRA在训练过程中采用多分支增强表示推理时则折叠成单个卷积分支。创新点 3共生进化学习融合模型和任务模型相互适应并利用进化搜索动态调整损失权重显著性判别损失无需额外添加检测器即可强化重要区域。5. 方法详解5.1 整体框架输入是已经对齐的红外图像和可见光图像二者经过融合网络后得到融合图像。论文将融合损失以及各个任务损失组成一个向量目标其中融合网络参数 用来控制图像生成各个任务模型的参数则会随当前融合图像分布进行调整。该目标旨在寻找同时兼顾视觉效果和多任务效用的帕累托折中解。图 2.融合模型、任务模型以及进化学习构成的整体结构。5.2 轻量融合网络红外和可见光输入沿通道拼接为 网络由深层特征路径 和多尺度残差Multi-Scale ResidualMSR路径 构成其中深层特征路径采用包含 、、、、 卷积分支的 DRA多尺度残差路径则使用 、、、 尺度分支。在推理阶段两者分别被折叠为单个 或 卷积层在保持训练期间所学表示能力的同时降低部署成本。图 3.轻量融合网络和 DRA 的训练与推理结构。图 4.候选权重的选择、交叉、变异以及模型更新过程。5.3 进化搜索与显著性损失每轮先让任务模型适应当前的融合图像再把融合损失权重和任务损失权重编码成候选向量 。候选更新依据所有任务的验证准确率来选择而且需要保证每个任务都不退化否则继续使用原来的模型。论文还从多个方向提取红外和可见光图像的突出表示 、并用显著性判别损失约束融合结果其中 表示显著性判别损失 表示 范数。该损失不依赖外部显著性检测器也能让融合图像保留两种模态中响应较强的结构。5.4 损失函数融合损失包含梯度损失、均方误差损失、结构相似性损失、强度损失以及显著性判别损失。目标检测使用交叉熵损失、完整交并比损失和分布焦点损失语义分割使用像素交叉熵损失显著目标检测使用加权二元交叉熵损失和加权交并比损失。各项权重通过进化搜索动态调整。一句话理解该方法让多个任务共同评判候选融合方向只保留能够兼顾视觉效果和任务效用的更新。6. 实验结果6.1 实验设置实验涉及 TNO、RoadScene、FMB、M³FD、MFNet、VT821、VT1000、VT5000、MSOD、Potsdam、WHU 等数据集。四个融合测试集分别包含 300、221、57 和 280 对图像初始模型使用 M³FD 的 图像块训练 60 轮Adam 学习率设为 。进化阶段的外层迭代次数、进化轮数和种群大小分别为 5、5、6初始学习率为 。下游任务采用 YOLOv8s、SegFormer-B0 和 FC²Net实验使用单张 RTX 4090完整训练约需 29.39 小时。6.2 主要结果图 5.TNO、RoadScene、M³FD 融合结果的定性比较。表 I.四个融合数据集的定量结果。6.3 下游任务结果图 6.FMB 和 MFNet 的语义分割结果。图 7.VT821、VT1000、VT5000 的显著目标检测结果。图 8.M³FD 和 MSOD 的目标检测结果。图 9.Potsdam 和 WHU 的遥感分割结果。表 II.FMB 和 MFNet 的语义分割定量结果。表 III.三个显著目标检测数据集的定量结果。表 IV.M³FD 和 MSOD 的目标检测定量结果。表 V.WHU 和 Potsdam 的遥感分割定量结果。6.4 消融与复杂度目标检测、语义分割和显著目标检测三种约束全部启用时模型的综合表现最好。DRA 和 MSR 能够提高性能与稳定性显著性判别损失采用 4 倍权重时达到最佳平衡进化学习率设为 时效果最好。使用 2 个 DRA 时模型仅包含0.019M 参数FLOPs 为论文表中数值 14.65推理时间为7.911 ms论文没有明确标注 FLOPs 的单位。图 10.不同任务约束下的定性消融结果。图 11.不同网络结构下的指标分布。图 12.不同网络结构下的特征激活情况。图 13.****显著性判别损失消融的可视化结果。图 14.训练调度组件的消融结果。图 15.进化学习率消融结果。图 16.不同迭代阶段的结果。图 17.进化种群中间模型的指标变化。图 18.FLOPs、FPS 以及下游性能的比较。表 VI.不同任务约束组合的消融结果。表 VII.不同 DRA 数量下的性能和复杂度。7. 总结与展望EvoFuse 采用多目标建模、轻量可重参数化网络以及进化权重搜索使融合模型能够同时服务视觉质量和多种感知任务。实验表明该方法具有良好的综合表现和推理效率但迭代任务适应与进化搜索也使训练过程较为复杂并且最终结果会受到所选任务及监督信号的影响。一句话总结EvoFuse 的核心是让多个任务共同决定更合适的融合更新方向。往期推荐
