图像去雨是一种计算机视觉技术,用于从受雨滴影响的图像中去除视觉噪声,改善图像质量。这一技术有助于在恶劣天气条件下提升视觉系统的性能,例如在自动驾驶、监控系统和户外图像分析中尤为重要。
本文介绍了一种专门针对超高清(UHD)图像去雨的方法。随着成像技术的进步,传统的图像去雨方法在处理4K或更高分辨率图像时可能不再有效。因此,本文提出了一个名为4K-Rain13k的大规模UHD图像去雨数据集,并开发了一种新的基于视觉MLP(多层感知器)的架构,称为UDR-Mixer。这种架构包括:
- 空间特征重排层:用于捕获UHD图像中的长距离信息。
- 频率特征调制层:促进高质量UHD图像的重建。
这种方法的意义在于,它能在保持较低模型复杂性的同时,有效地处理高分辨率图像中的去雨任务,从而在各种实际应用中提供更清晰的视觉信息。通过这些研究,可以进一步推动高分辨率视频处理技术的发展,并可能在未来为相关领域带来更广泛的应用和改进。
论文作者:Hongming Chen,Xiang Chen,Chen Wu,Zhuoran Zheng,Jinshan Pan,Xianping Fu
作者单位:Dalian Martime University; Nanjing University of Science and Technology; University of Science and Technology of China; Sun Yat-sen University
论文链接:http://arxiv.org/abs/2405.17074v1
项目链接:https://github.com/cschenxiang/UDR-Mixer
内容简介:
1)方向:图像去雨
2)应用:图像去雨
3)背景:现有的图像去雨方法主要针对低分辨率图像,对于超高清(UHD)图像的效果尚不明确,尤其是随着成像设备的不断进步。
4)方法:本文专注于UHD图像去雨任务,并提出了首个大规模UHD图像去雨数据集4K-Rain13k,包含13,000对4K分辨率的图像。基于4K-Rain13k数据集,作者对现有方法在处理UHD图像方面进行了基准研究。此外,开发一种有效且高效的基于视觉MLP的架构(UDR-Mixer)来更好地解决这一任务。具体来说,该方法包含两个构建组件:一个捕获UHD图像长距离信息的空间特征重排层,以及一个促进高质量UHD图像重建的频率特征调制层。
5)结果:大量实验结果表明,作者的方法在保持较低模型复杂性的同时,表现优于现有技术方法。代码和数据集:https://github.com/cschenxiang/UDR-Mixer。