SFFNet: A Wavelet-Based Spatial and Frequency Domain Fusion Network for Remote Sensing Segmentation
为了充分利用空间信息进行分割，并解决遥感分割中处理灰度变化较大区域的难题，我们提出了 SFFNet（空间与频率域融合网络）框架。该框架采用两阶段网络设计：第一阶段使用空间方法提取特征，以获得具有足够空间细节和语义信息的特征；第二阶段将这些特征映射到空间域和频率域。在频域映射中，我们引入了小波变换特征分解器（WTFD）结构，利用哈小波变换将特征分解为低频和高频成分，并与空间特征进行整合。为了弥合频率和空间特征之间的语义差距，并促进重要特征的选择，以促进来自不同表示域的特征的组合，我们设计了多尺度双表示对齐过滤器（MDAF）。这种结构利用了多尺度卷积和双交叉关注。综合实验结果表明，与现有方法相比，SFFNet 的 mIoU 性能更优，分别达到 84.80% 和 87.73%。
INTRODUCTION
在遥感图像分割领域，这些 CNN 和 Transformer 融合网络能在一定程度上有效利用全局和局部信息。然而，这些方法仅仅基于空间分割，并没有利用频域信息。在遥感图像的复杂背景中，灰度变化给空间分割带来了挑战。特别是边缘和阴影等灰度变化明显的区域会导致分割错误，而频域特征对这些区域更为敏感。因此，有必要在空间分割网络中引入频域信息。
哈小波变换作为一种快速分解方法，常用于图像处理中的频域变换 。它通常用于分解 、压缩 、去噪等任务。少数研究将其应用于图像分割，这些方法直接将哈小波变换的频域特征替换为空间域特征，从而在一定程度上提高了模型的性能和泛化能力。但是，由于遥感图像的特殊性，单纯使用频域特征会导致信息不清晰和空间信息丢失。相比之下，空间域特征更能捕捉图像中不同类别的语义信息和更准确的空间信息。因此，需要一种既能有效引入频域信息，又能保持空间域特征的方法来解决空间分割的难题，提高分割模型的准确性。
基于上述想法，设计了一种空间和频率域融合网络（SFFNet），采用两阶段方法保留空间域特征的丰富语义信息和空间信息，同时引入额外的频率域特征。首先，在第一阶段进行空间域特征提取，然后利用第一阶段的空间特征进行特征映射，包括全局特征映射和局部特征映射，以保留足够的空间信息。同时，为了引入频域特征，我们提出了小波变换特征分解器（WTFD）模块，利用哈小波变换将空间特征分解为高频和低频信号，然后将其转换为高频和低频特征嵌入 CNN 网络，以补充映射的全局和局部特征。随后，为了实现跨尺度对齐和特征选择，我们设计了小波变换特征分解器（MDAF）模块，利用多尺度垂直条卷积和双交叉注意实现双呈现对齐过滤器（DAF），以实现语义对齐和特征选择。通过这些方法，我们利用频域信息扩展了局部和全局特征，增强了特征表示能力，使模型能够更全面地考虑图像中灰度变化较大的区域，如阴影、边缘和纹理变化明显的区域，从而提高分割的准确性和鲁棒性。此外，为了使 Swin Transformer 能够实现更高效的全局特征映射，以适应遥感分割任务，我们使用一组垂直卷积建立了 Windows 之间的远程依赖关系。
<