RainMamba基于状态空间模型的视频去雨 · 论文导读与复现路线系列笔记 · 深度学习模块缝合路线三关联篇《深度学习模块缝合方法论人物蒸馏笔记》《视频去雨网络的模块缝合路线 · 实践笔记》摘要本文导读视频去雨 Mamba 系三篇首选 RainMambaMM 2024 OralHilbert 扫描保留时空局部性代码权重齐全对标 VDMambaCVPR 2025双分支 SSM 加统计滤波S3VD 未开源仅参考。文末附环境清单、复现路线与缝合改进点。目录摘要1 选型标准为什么是这三篇2 RainMamba首选基线2.1 论文信息2.2 核心思想2.3 复现要点3 VDMamba进阶对标3.1 论文信息3.2 核心思想3.3 为什么它是讲故事的最佳模板3.4 复现要点4 S3VD只读参考5 复现路线与环境清单5.1 三阶段路线5.2 环境速查表6 缝合改进点分析7 总结参考文献1 选型标准为什么是这三篇按有代码、能先跑起来的实用标准筛选视频去雨方向 2024–2026 年的代表性工作如下论文会议/年份代码预训练权重定位RainMambaACM MM 2024 Oral✅ 开源✅ 四个数据集首选基线最容易跑VDMambaCVPR 2025 Oral✅ 开源✅ 四套权重进阶对标 消融对比方法S3VDarXiv 2609.21322❌ 未开源❌只读作缝合模块来源参考三篇恰好构成一条完整的研究链路RainMamba 解决 Mamba 局部性 → VDMamba 补上统计滤波与半监督 → S3VD 引入语义先验。跑通前两篇、读懂第三篇就掌握了当前视频去雨的技术主干。2 RainMamba首选基线2.1 论文信息标题RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining机构香港科技大学广州发表ACM MM 2024Oral代码github.com/TonyHongtaoWu/RainMamba2024-07-30 发布训练、测试代码、预训练模型、四个数据集结果全部放出2.2 核心思想Mamba状态空间模型以线性复杂度建模长序列但视频任务有一个先天矛盾将 5D 视频张量展平成 1D 序列会破坏时空局部相关性——相邻像素可能在序列上相距很远状态空间的遗忘特性导致局部细节正是雨纹所在的高频信息丢失。RainMamba 的两个针对性设计3D Hilbert 扫描用三维希尔伯特曲线替代简单展平做序列化。Hilbert 曲线是空间填充曲线任意相邻两点在序列上也相邻从而在 Mamba 的序列建模中保留时空局部性。这是改造序列化方式而非改造 Mamba 本身的思路迁移性好。差分引导的动态对比局部学习利用雨图与干净图的差分图即雨纹本身作为引导信号动态调整局部学习权重让网络聚焦于雨纹区域而非整幅图像。2.3 复现要点框架基于 MMEditing 构建Python 3.9 PyTorch 2.1.1 mmcv-full 1.7.2必坑项需编译causal-conv1d与mamba两个 CUDA 扩展——这是 Mamba 系项目的通用坑强烈建议 Linux GPU 环境实验室服务器或云 GPUWindows 本地编译这两个包非常痛苦数据集NTURain、RainSynLight25、RainSynComplex25 等论文所用数据集均可从对应官网获取仓库 README 有链接3 VDMamba进阶对标3.1 论文信息标题Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining机构中科院发表CVPR 2025OralarXiv 2505.16811代码github.com/sunshangquan/VDMamba预训练权重覆盖 NTURain / RainSynLight25 / RainSynComplex25 / RVDT 四套附现成测试脚本3.2 核心思想三个递进的创新点时空双分支 SSM空间分支与时序分支解耦建模避免单一序列化方式同时照顾两种维度的局部性可视为对 RainMamba 思路的进一步拆分。动态统计滤波DSF利用雨纹的稀疏性——雨只占画面少数像素——将 median、min-max 等统计滤波做可微化近似嵌入网络。统计滤波对稀疏离群值天然鲁棒可微化后可以端到端训练。这是先验知识模块化的典型范例。半监督伪标签真实雨天视频没有干净标签用无标签真实数据 伪标签一致性约束做半监督训练缓解合成数据到真实场景的域差距。同时构建了真实场景基准RVDT。3.3 为什么它是讲故事的最佳模板VDMamba 不只报 PSNR/SSIM还报告了去雨后的下游收益——目标检测 mAP、多目标跟踪 MOTA 的提升。这把去雨从刷指标包装成了为下游视觉任务服务的应用价值叙事审稿人认可度高值得直接借鉴到自己的论文写作中。3.4 复现要点环境Python 3.10 PyTorch 2.1.1必坑项需额外编译 flownet2 的correlation_package光流模块比 RainMamba 麻烦一点同样建议 Linux 环境定位跑通后作为自己方法的对比方法消融表里正好要用4 S3VD只读参考arXiv 2609.213222026-09当前 PSNR 最优DINOv2 语义先验冻结的 DINOv2 提取语义特征经交叉注意力注入去雨主干防止背景结构被洗掉——对应前篇笔记的先验注入拓扑解耦门控 Mamba门控机制动态平衡雨纹抑制与结构保留代码未开源只适合精读作为未来缝合的模块来源5 复现路线与环境清单5.1 三阶段路线阶段一第 1–2 周跑通 RainMamba ├─ Linux GPU 环境RTX 3090/4090 或云 GPU ├─ 安装 PyTorch 2.1.1 mmcv-full 1.7.2 ├─ 编译 causal-conv1d、mamba CUDA 扩展 ├─ 下载预训练权重先测试复现论文指标 └─ 准备数据集完整重训一遍验证环境 阶段二第 3 周跑通 VDMamba 作对比 ├─ 编译 flownet2 correlation_package ├─ 复现四套权重对应的指标 └─ 整理成对比方法表格 阶段三第 4 周起定位缝合点 ├─ 分析 RainMamba 短板见下节 └─ 一次只缝一个模块逐项消融5.2 环境速查表项目RainMambaVDMambaPython3.93.10PyTorch2.1.12.1.1框架依赖mmcv-full 1.7.2MMEditing无CUDA 扩展causal-conv1d、mambaflownet2 correlation_package系统Linux强烈建议Linux强烈建议6 缝合改进点分析RainMamba 论文自己承认 Hilbert 扫描解决了局部性但仍留有两处明显缺口正好对应前篇笔记的拓扑法则无语义先验→ 先验注入式缝合仿照 S3VD冻结 DINOv2 提取语义特征经交叉注意力注入 RainMamba 的解码端。改动集中在一个模块风险低。无显式光流对齐→ 串行式缝合仿照 VDMamba在时序分支前加光流或可变形卷积做帧间 warp缓解大运动下的对齐误差。按五步链路组织跑通基线RainMamba→ 选模块DINOv2 先验 / 光流对齐→ 定拓扑注入式 / 串行式→ 对齐维度注意 5D 张量 reshape→ 回归验证一次一个逐项消融。差异化提醒S3VD 与 VDMamba 是 2025–2026 的 SOTA直接搬模块要注意与自己的贡献点拉开差异——组合方式本身缝在哪、怎么融合、损失怎么配才是您的创新点。7 总结跑RainMamba 是当前最易上手的 Mamba 系视频去雨基线代码权重齐全但需 Linux 环境编译 CUDA 扩展比VDMamba 是现成的对比方法且其下游收益叙事值得借鉴读S3VD 指明了语义先验方向是缝合模块的思想来源缝语义先验注入 光流对齐是 RainMamba 的两个现成缺口按五步链路逐项消融推进参考文献Wu T, et al. RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining. ACM MM 2024 (Oral). Code: github.com/TonyHongtaoWu/RainMambaSun S, et al. Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining. CVPR 2025 (Oral). arXiv:2505.16811. Code: github.com/sunshangquan/VDMambaS3VD: arXiv:2609.21322, 2026.本系列前篇《深度学习模块缝合方法论人物蒸馏笔记》《视频去雨网络的模块缝合路线 · 实践笔记》
RainMamba：基于状态空间模型的视频去雨 · 论文导读与复现路线
RainMamba基于状态空间模型的视频去雨 · 论文导读与复现路线系列笔记 · 深度学习模块缝合路线三关联篇《深度学习模块缝合方法论人物蒸馏笔记》《视频去雨网络的模块缝合路线 · 实践笔记》摘要本文导读视频去雨 Mamba 系三篇首选 RainMambaMM 2024 OralHilbert 扫描保留时空局部性代码权重齐全对标 VDMambaCVPR 2025双分支 SSM 加统计滤波S3VD 未开源仅参考。文末附环境清单、复现路线与缝合改进点。目录摘要1 选型标准为什么是这三篇2 RainMamba首选基线2.1 论文信息2.2 核心思想2.3 复现要点3 VDMamba进阶对标3.1 论文信息3.2 核心思想3.3 为什么它是讲故事的最佳模板3.4 复现要点4 S3VD只读参考5 复现路线与环境清单5.1 三阶段路线5.2 环境速查表6 缝合改进点分析7 总结参考文献1 选型标准为什么是这三篇按有代码、能先跑起来的实用标准筛选视频去雨方向 2024–2026 年的代表性工作如下论文会议/年份代码预训练权重定位RainMambaACM MM 2024 Oral✅ 开源✅ 四个数据集首选基线最容易跑VDMambaCVPR 2025 Oral✅ 开源✅ 四套权重进阶对标 消融对比方法S3VDarXiv 2609.21322❌ 未开源❌只读作缝合模块来源参考三篇恰好构成一条完整的研究链路RainMamba 解决 Mamba 局部性 → VDMamba 补上统计滤波与半监督 → S3VD 引入语义先验。跑通前两篇、读懂第三篇就掌握了当前视频去雨的技术主干。2 RainMamba首选基线2.1 论文信息标题RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining机构香港科技大学广州发表ACM MM 2024Oral代码github.com/TonyHongtaoWu/RainMamba2024-07-30 发布训练、测试代码、预训练模型、四个数据集结果全部放出2.2 核心思想Mamba状态空间模型以线性复杂度建模长序列但视频任务有一个先天矛盾将 5D 视频张量展平成 1D 序列会破坏时空局部相关性——相邻像素可能在序列上相距很远状态空间的遗忘特性导致局部细节正是雨纹所在的高频信息丢失。RainMamba 的两个针对性设计3D Hilbert 扫描用三维希尔伯特曲线替代简单展平做序列化。Hilbert 曲线是空间填充曲线任意相邻两点在序列上也相邻从而在 Mamba 的序列建模中保留时空局部性。这是改造序列化方式而非改造 Mamba 本身的思路迁移性好。差分引导的动态对比局部学习利用雨图与干净图的差分图即雨纹本身作为引导信号动态调整局部学习权重让网络聚焦于雨纹区域而非整幅图像。2.3 复现要点框架基于 MMEditing 构建Python 3.9 PyTorch 2.1.1 mmcv-full 1.7.2必坑项需编译causal-conv1d与mamba两个 CUDA 扩展——这是 Mamba 系项目的通用坑强烈建议 Linux GPU 环境实验室服务器或云 GPUWindows 本地编译这两个包非常痛苦数据集NTURain、RainSynLight25、RainSynComplex25 等论文所用数据集均可从对应官网获取仓库 README 有链接3 VDMamba进阶对标3.1 论文信息标题Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining机构中科院发表CVPR 2025OralarXiv 2505.16811代码github.com/sunshangquan/VDMamba预训练权重覆盖 NTURain / RainSynLight25 / RainSynComplex25 / RVDT 四套附现成测试脚本3.2 核心思想三个递进的创新点时空双分支 SSM空间分支与时序分支解耦建模避免单一序列化方式同时照顾两种维度的局部性可视为对 RainMamba 思路的进一步拆分。动态统计滤波DSF利用雨纹的稀疏性——雨只占画面少数像素——将 median、min-max 等统计滤波做可微化近似嵌入网络。统计滤波对稀疏离群值天然鲁棒可微化后可以端到端训练。这是先验知识模块化的典型范例。半监督伪标签真实雨天视频没有干净标签用无标签真实数据 伪标签一致性约束做半监督训练缓解合成数据到真实场景的域差距。同时构建了真实场景基准RVDT。3.3 为什么它是讲故事的最佳模板VDMamba 不只报 PSNR/SSIM还报告了去雨后的下游收益——目标检测 mAP、多目标跟踪 MOTA 的提升。这把去雨从刷指标包装成了为下游视觉任务服务的应用价值叙事审稿人认可度高值得直接借鉴到自己的论文写作中。3.4 复现要点环境Python 3.10 PyTorch 2.1.1必坑项需额外编译 flownet2 的correlation_package光流模块比 RainMamba 麻烦一点同样建议 Linux 环境定位跑通后作为自己方法的对比方法消融表里正好要用4 S3VD只读参考arXiv 2609.213222026-09当前 PSNR 最优DINOv2 语义先验冻结的 DINOv2 提取语义特征经交叉注意力注入去雨主干防止背景结构被洗掉——对应前篇笔记的先验注入拓扑解耦门控 Mamba门控机制动态平衡雨纹抑制与结构保留代码未开源只适合精读作为未来缝合的模块来源5 复现路线与环境清单5.1 三阶段路线阶段一第 1–2 周跑通 RainMamba ├─ Linux GPU 环境RTX 3090/4090 或云 GPU ├─ 安装 PyTorch 2.1.1 mmcv-full 1.7.2 ├─ 编译 causal-conv1d、mamba CUDA 扩展 ├─ 下载预训练权重先测试复现论文指标 └─ 准备数据集完整重训一遍验证环境 阶段二第 3 周跑通 VDMamba 作对比 ├─ 编译 flownet2 correlation_package ├─ 复现四套权重对应的指标 └─ 整理成对比方法表格 阶段三第 4 周起定位缝合点 ├─ 分析 RainMamba 短板见下节 └─ 一次只缝一个模块逐项消融5.2 环境速查表项目RainMambaVDMambaPython3.93.10PyTorch2.1.12.1.1框架依赖mmcv-full 1.7.2MMEditing无CUDA 扩展causal-conv1d、mambaflownet2 correlation_package系统Linux强烈建议Linux强烈建议6 缝合改进点分析RainMamba 论文自己承认 Hilbert 扫描解决了局部性但仍留有两处明显缺口正好对应前篇笔记的拓扑法则无语义先验→ 先验注入式缝合仿照 S3VD冻结 DINOv2 提取语义特征经交叉注意力注入 RainMamba 的解码端。改动集中在一个模块风险低。无显式光流对齐→ 串行式缝合仿照 VDMamba在时序分支前加光流或可变形卷积做帧间 warp缓解大运动下的对齐误差。按五步链路组织跑通基线RainMamba→ 选模块DINOv2 先验 / 光流对齐→ 定拓扑注入式 / 串行式→ 对齐维度注意 5D 张量 reshape→ 回归验证一次一个逐项消融。差异化提醒S3VD 与 VDMamba 是 2025–2026 的 SOTA直接搬模块要注意与自己的贡献点拉开差异——组合方式本身缝在哪、怎么融合、损失怎么配才是您的创新点。7 总结跑RainMamba 是当前最易上手的 Mamba 系视频去雨基线代码权重齐全但需 Linux 环境编译 CUDA 扩展比VDMamba 是现成的对比方法且其下游收益叙事值得借鉴读S3VD 指明了语义先验方向是缝合模块的思想来源缝语义先验注入 光流对齐是 RainMamba 的两个现成缺口按五步链路逐项消融推进参考文献Wu T, et al. RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining. ACM MM 2024 (Oral). Code: github.com/TonyHongtaoWu/RainMambaSun S, et al. Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining. CVPR 2025 (Oral). arXiv:2505.16811. Code: github.com/sunshangquan/VDMambaS3VD: arXiv:2609.21322, 2026.本系列前篇《深度学习模块缝合方法论人物蒸馏笔记》《视频去雨网络的模块缝合路线 · 实践笔记》
