目录
0 引言
1 图像配准技术及存在的难点
1.1 图像配准算法原理
1.2 基于区域的配准算法
1.3 基于特征的配准算法
1.4 基于深度学习的配准算法
1.5 红外与可见光图像配准存在的难点
2 红外与可见光图像配准技术研究进展
2.1 基于区域的红外与可见光图像配准方法
2.1.1 基于傅里叶变换的图像配准
2.1.2 基于互信息和梯度信息的图像配准
2.1.3 基于互信息或变换域的图像配准
2.2 基于特征的红外与可见光图像配准方法
2.2.1 基于点特征的图像配准
2.2.2 基于轮廓边缘与区域特征的图像配准
2.3 基于深度学习的红外与可见光图像配准方法
2.3.1 基于卷积神经网络的相似性测度模型
2.3.2 基于生成对抗网络的图像配准
3 红外与可见光图像配准的应用
4 结束语
李云红，刘宇栋，苏雪平，罗雪敏，姚 兰
（西安工程大学 电子信息学院，陕西 西安 710048）
摘要：多模态图像配准能提供比单模态图像配准更加丰富和全面的信息，红外与可见光图像配准作为 一种常见的多模态配准类型，在电力、遥感、军事以及人脸识别等领域具有重要的应用价值。首先介绍了红外与可见光图像配准的相关技术并阐述了配准中存在的难点与挑战，然后详细分析和总结了基 于区域、基于特征和基于深度学习 3 种红外与可见光图像配准方法，并分别阐述了不同配准方法的优 缺点，之后概述了红外与可见光图像配准技术的实际应用，最后对红外与可见光图像配准未来的发展 趋势进行讨论。
关键词：图像配准；红外图像；可见光图像；深度学习
0 引言
作为多源成像技术的核心之一，红外与可见光图像配准技术在众多领域具有重要的研究价值。红外与 可见光图像配准能够获得更丰富和全面的场景信息， 被广泛应用于军事侦察、视频监控、遥感信息融合、 电力设备监测等领域[1-2]。 红外图像与可见光图像的成像原理差异导致了传统单模态图像配准方法效果不佳。通过在相同时间内对同一范围成像所得到的可见光图像与红外图像 的数据进行分析可以发现，它们之间由于存在着不同比例的缩放以及相对平移、旋转等问题[3]导致了红外与可见光图像具有很大的配准难度。因此，研究者们 针对不同的应用场景分析，提出多种精度高、配准效 果好的方法。鉴于这些方法在各领域的研究中具有重要的理论及实践意义，有必要对其研究现状进行综 述。
文章综述了红外与可见光图像配准的相关技术， 剖析了配准中存在的难点与挑战，针对基于区域、基于特征和基于深度学习 3 类红外与可见光图像配准方法进行了较为详细的分析与总结，最后列举了该技术的一些实际应用并展望了未来的发展趋势。
1 图像配准技术及存在的难点
1.1 图像配准算法原理
图像配准是对同一场景图像叠加的过程，旨在找到参考图像（固定图像）和浮动图像（待配准图像）之间的映射关系。通常采用两个二维数组来定义两幅图像，如 I1(x,y)和 I2(x,y)，它们分别表示两幅图像的灰 度值，则两幅图像之间的变换关系可以采用公式(1)来 表示：
1.2 基于区域的配准算法
基于区域的配准算法主要以参考图像为基础，利用极大化相关性指标来搜索待配准图像的最佳位置。 选取合适的相似性测度算法以寻找两幅或多幅图像 的相关性并在空间域或频域中展开，是基于区域的配 准方法的核心。基于区域的图像配准算法步骤如图 1 所示。
Fig.1 The steps of region-based image registration algorithm
选择相似性测度算法时，以互相关、互信息为代 表的空间域中寻找两幅图像的相关性在当下运用较多。互相关最早应用于基于区域的配准方法中， Sarvaiya 等人和 Yang 等人都是运用归一化互相关的 思想分别在不同光谱图像中进行模板匹配，反应不同 图像特征相似性[4-5]。归一化互相关方法（Normalized Cross Correlation, NCC）主要思想是计算两幅图像对 应窗的相似性。令 I(x,y)表示浮动图像，T(x,y)为参考 图像，当参考图像在浮动图像中移动时，在每个位移 点(i,j)处，两者相似度如公式(2)表示：
互信息则通过对两幅图像的统计相关性进行度量。对于参考图像 A 和浮动图像 B，它们的互信息可表示为：
式中：H(A)和 H(B)为图像 A 和 B 的边缘熵；H(A,B) 表示两幅图像的联合熵；I(A,B)为图像的互信息。当图 像 A 和 B 完全配准时，条件边缘熵 H(A|B)和 H(B|A) 最小，此时互信息 I(A,B)达到最大值。
不同于互相关等基于空间域的图像配准方法，以傅里叶变换为代表的在频域中对两幅图像进行类相关配准也是当下应用较多的方法之一，其主要思想是计算频域的相关性，当应用于边缘表示时，它能够处理可见光图像和红外图像等多模态图像。主要分为频域内的互相关（Cross Correlation in the Frequency domain，CCF）和相位相关（Phase Correlation，PC）。
2）相位相关（PC）：PC 是基于傅里叶变换的平移特性，即将两幅相关图像在空间域上的位移作为相 位差转换到频域。相位相关如公式(5)所示：
1.3 基于特征的配准算法
传统的基于特征的图像配准算法是一个不断迭 代优化寻找图像之间最优相似度的过程，为了提高图 像配准的精度，在对不同传感器图像进行特征提取 前，需要将图像的特征信息在像素级上进行展开，常 用的特征包括：角点、边缘线段、特征区域等。特征匹配就是在特征提取过程中，根据特征描述算子和相 似性测度准则获得特征集合间的匹配关系，可能用到 的信息有：特征向量的空间分布、区域的灰度值以及 特征描述符等。最后通过判断参考图像与待配准图像 之间是否产生几何畸变，从而选择合适的几何变换模型对图像进行最佳拟合。基于特征的图像配准算法步 骤如图 2 所示。
1.4 基于深度学习的配准算法
深度学习的配准方法主要是利用深度学习网络 对输入的图像对进行特征提取与相似性测度，从而实 现配准图像的生成与图像配准精度的判别。深度学习 图像配准算法步骤如图 3 所示，一般将可见光图像与红外图像通过深度网络模型映射转为同一模态（比如 将可见光图像转为红外图像），而后输入到配准网络中进行相似性测度，根据神经网络反向传播特性，将 损失值传递到网络中迭代，促使可见光图像映射到红外图像的效果更好，以获取两幅红外图像更精确的相似性度量，最终得到最优的输出值得到配准图像。
1.5 红外与可见光图像配准存在的难点
由于受到自然环境、物体运动干扰、光照等条件 的影响，红外与可见光图像之间相关性较小，因此基于区域的图像配准方法效果较差。
在基于特征的图像配准方法中，为了提高图像配 准的精度，在对不同传感器图像进行特征提取前，需 要将图像的特征信息在像素级上进行展开。此类方法 运用多种算子、仿射变换模型对红外与可见光图像进 行配准。往往采用单一特征的配准算法进行图像配准难以同时满足配准速度和精度的要求，而采用多特征 的配准算法进行图像配准则会增加特征算子的维度，加大配准的复杂性，因此如何结合不同算法提高特征 点对的提取和匹配精度以及缩短配准时间是配准的 一大挑战。
传统的配准方法精度高、但相较于深度学习的配 准方法速度较慢，传统方法已逐渐无法满足当下各种 红外与可见光图像配准领域飞速发展的需要。近些年来，深度学习的配准方法在医学图像和遥感图像的配 准中已有较传统方法效果更好、速度更快的优势。部 分研究者尝试将卷积神经网络、生成对抗网络等深度 学习网络应用到红外与可见光图像配准中并取得了 一定的进展，但与传统方法在配准精度上仍具有一定 的差距。由于红外光谱通常分辨率较低且模糊，难以 可靠的提取关键点等详细特征，在深度学习架构中既 不易可靠地找到特征，也不适合直接训练，因此，深 度学习方法在实现出色的红外与可见图像配准方面 面临许多挑战[6]。
2 红外与可见光图像配准技术研究进展
下面将分别介绍基于区域、基于特征和基于深度学习的图像配准方法。
2.1 基于区域的红外与可见光图像配准方法
基于区域的配准方法又称模板匹配法，典型的区 域配准算法包括：傅里叶变换、互信息、梯度信息等。
2.1.1 基于傅里叶变换的图像配准
基于傅里叶图像相关性的图像配准旨在将二维 图像从空间域变换到频率域计算图像之间的相关性， Stone 等人[7]率先研究了基于傅里叶相关性的图像配 准精度降低的因素，说明了影响相位相关图像配准精 度的问题主要来自插值误差以及在采样过程中图像 旋转时，离散傅里叶变换不易展开两个方面。在随后 研究中，Stone 等人为减少旋转依赖的混叠而对图像 进行窗口化以去除高频信息，使得图像配准中相位相 关性大大提高。
在如何减少插值误差带来的配准精度问题的研究中，将笛卡尔网格上的 FFT 系数内插到对数极坐标 网格中得到对数极坐标系数从而准确地评估对数极 坐标傅里叶变换是重中之重。为此，研究者们提出了 “MPFFT[8]”、“MPFT[9]”等方法，这些方法都是通过提供一种类似对数极坐标的网格使得到的对数极 坐标傅里叶变换更加精确，从而减少插值误差对图像 配准精度的影响。除傅里叶变换外，Fujisawa 等人[10] 将Radon变换应用于图像的频域和空间域以进行高精 度旋转和尺度估计，在减少插值误差方面起到了类似 的作用。
2.1.2 基于互信息和梯度信息的图像配准
Kim 等人[11]提取可见光图像中与相应的红外图像 区域高度相关的区域，并利用提取的区域计算互信息， 以管理多模态图像的鲁棒配准，其配准效果较基于区 域的配准算法有一定的提升。Yang 等人[12]将互信息用 以图像序列的全局配准与逐帧到每幅图像之间的局部 配准，该配准算法加强了动态图像全局与局部的一致 性，但所需要的连续帧图像序列对不易获取。
由于红外与可见光不一致的光谱特性，复杂背景 区域的边缘轮廓较为模糊，从而增加了归一化互信息 （Normalized Mutual Information, NMI）算法在配准时 局部极值的数量，导致从多模态图像中提取一致特征 较为困难。将红外与可见光图像的互信息和梯度信息相结合，利用梯度相似性作为互信息的加权，构造新 的配准测度成为了许多研究人员重点研究的方向。在 相关研究中，Lian-Fa 等人[13]提出了一种改进的梯度 NMI 算法，能够根据梯度大小和方向对两幅图像相关 性进行优化。但该算法只考虑消除多峰条件，没有改 善红外与可见图像之间的低相关性，配准的位置可能 不准确。归一化总梯度（Normalized total gradient, NTG）函数[14]的提出在多光谱图像配准中取得了良好 的效果，尽管有其优势，但计算成本相应增加。在如何解决互信息较为依赖图像全局一致性这一问题上， Yang 等[15]引入自适应局部张量获取互信息，与加权函数组成测度准则，能够有效反应图像灰度信息。赵 洪山[16]结合流形排序算法提出一种新的基于显著性 梯度的 NCC 算法，在增加配准时间的情况下能够提 高红外图像模糊边缘的特征提取率，然后采用文化狼 群的算法对测度函数进行优化，提高了图像配准的收 敛性和配准率。
2.1.3 基于互信息或变换域的图像配准
除了采用精确度更高的梯度算子提高梯度互信 息算法的准确性外，一些研究人员从图像预处理入 手，结合变换域、显著性等方法，有效实现梯度的准 确获取以及减少互信息的计算量。根据输电线路图像中导线的方向梯度明确的特点，孙凤杰[17]等人采用将 直方图和归一化相关匹配相结合的匹配方法，有效减少了模板的搜索空间。在变换域方面，刘刚[18]结合非 下轮廓波变换将红外图像与可见光图像变换到 NSCT域，将梯度归一化互信息作为图像配准的相似性测度 准则，最后通过遗传算法进行配准，能够有效缩短配准时间。吴延海[19]则将梯度信息和区域互信息相结合作为相似性测度函数，通过对小波分解后的图像进行 分层配准，得到了精度较高的配准图像。
在其他方面，图 4 为 Zhuang 等人[20]通过结合粒 子群优化（PSO）与 Powell 搜索方法的配准算法流程图与配准结果，在配准速度和精度上得到了保证，由于该方法在达到最大互信息时才会从 PSO 算法过渡 至 Powell 算法去寻找最优解，因而 Zhuang 等人借助 主成分分析（PCA）来决定何时改变算法以提高配准效率。
Li 等[21]结合传统相位相关与归一化互相关金字塔，在使用参考图像和浮动图像获取金字塔结构后， 通过将金字塔结构中顶层的子源图（浮动图像二次采 样）映射到底层执行配准过程，该方法对部分目标丢 失情况下配准具有很强的鲁棒性，但图像噪声对算法性能影响较大。
基于区域的配准方法以整幅图像的灰度信息为依据。其中，基于傅里叶的图像配准利用 FFT 对待配 准的两幅图像在频域进行类相关配准，其计算效率高，且对与频率相关的噪声具有鲁棒性，但如何对频域内两幅图像在对数极坐标中的傅里叶变换进行准 确的估计是基于相位相关运动估计的主要挑战；基于互信息的方法容易使红外与可见光图像配准过程中 陷入局部极值，与互信息方法相比，基于互信息与梯 度信息、变换域的图像配准方法通常不需要复杂的预 处理过程，实现过程相对简单。但这种方法对灰度变化敏感，并且在最优变换的搜索过程中运算量较大， 对相似度量函数的选取要求较高。因此，基于区域的 配准方法对于红外与可见图像配准适用性较差。
2.2 基于特征的红外与可见光图像配准方法
常见的基于特征的红外与可见光图像配准方法 有：基于点特征、基于轮廓边缘与区域特征的图像配 准方法。
2.2.1 基于点特征的图像配准
基于点特征的图像配准如图 5 所示，一般通过特 征描述符选择图像的角点、边缘交点进行特征提取。
尺度不变特征变换（SIFT）被认为是最稳健的方法，其对噪声不敏感，被广泛应用于特征点提取，但 它提取特征点的速度较慢，在细节纹理少的图像中提取效果较差。通过对 SIFT 算子进行改进，ASIFT 算子[22]能够在红外图像发生旋转、缩放、甚至带有噪声 的情况下有效地进行特征匹配。Yang 等[23]在 ASIFT 基础上结合多尺度 Retinex 算法对可见光图像中表示 物体属性的分量进行分离，以减弱杂波背景的影响。 该算法能够增加特征点的提取数量，实现配准精度的提高。与 ASIFT 类似，Zeng 等人[24]利用形态梯度得到红外和可见光的灰度边缘，使得相似度得以提升， 然后通过改进的 C_SIFT 特征检测算子从提取的边缘 中进行检测和提取特征点，图 6为该配准算法的流程 图和配准结果，可以看到，使用 C_SIFT 算法在形态 梯度学提取到的边缘轮廓中提取到的特征点较多，有利于特征匹配过程中特征点的选取，在红外与可见光图像配准上效果显著。
Jiang 等人[25]提出采用一种轮廓角方向 CAO-C2F 算法，利用 CSS 算法计算特征点的轮廓角主方向，并结合SIFT 描述符进行双边匹配，通过 C2F 实现了红 外与可见光图像的精确配准。
随着红外与可见光图像配准任务要求的不断提 高，SIFT 算子的许多变体不断被提出。其中，SURF 算子不仅保留了 SIFT 算子尺度不变的特性，在对特征点的提取速度上进一步加快。李伟[26]采用固定区域 截取特征点或手动提取特征点的方法对可见光图像 进行预处理，然后采用 SURF 算子进行特征点提取， 这种方法具有较好的特征点提取效果；FAST 算子具 有快速提取特征点的特性，Chen[27]基于电气设备的四边形特征，采用轮廓和直线检测技术能够有效提取特 征点。戴进墩[28]将灰度直方图均衡法和 NSCT 算法相 结合对红外与可见光图像进行预处理，然后采用 FAST 算子提取特征点，这种算法能够减少特征点的 误匹配优化配准效果。尽管这种方法计算简单，但是 FAST 算子由于角点聚集率高极易产生大面积的角点块，且对噪声的鲁棒性较差，导致提取的效果过于依 赖于固定阈值的选取；通过对 FAST 算子进行改进得到了 ORB 算子，该算子在保证提取速度要求的同时， 能够利用图像金字塔实现尺度不变性。比如，江泽涛[29] 采用优化显著性检测的算法，首先利用直方图规定化 对红外图像进行预处理，增强图像的细节信息，再引 入泰勒级数改进传统 ORB 算法，降低误匹配率提高 配准精度。
然而，上述基于点特征的图像配准大多利用高斯滤波构建尺度空间图像，此类方法缺点是尺度空间边 缘的弱化，导致图像细节信息的丢失。为此，占祥慧[30] 考虑利用滚动滤波引导构建尺度空间，利用改进相位 相关模型得到更准确的特征描述，结合 Shitomasi 算 法进行多尺度角点检测，更好地反映了红外与可见光 图像的细节纹理。Li 等人[31]则放弃特征描述子，在特征提取过程中借鉴目标检测中常用的 YOLOv3 网络 在得到的物体边界框中提取约束点特征，该方法可以获得足够多的匹配点对以获得唯一的仿射变换矩阵 用以对齐红外与可见光图像。
2.2.2 基于轮廓边缘与区域特征的图像配准
基于轮廓边缘与区域特征的配准算法主要利用 图像中的直线/曲线特征或者局部区域相似性进行特 征提取，通常和传统的边缘提取算法相结合，在图像 的边缘或局部区域上提取特征点。
在基于轮廓边缘的图像配准中，一些研究者致力于通过构建效果更好的特征描述符实现红外与可见 光图像的配准，Chen 等[32]针对红外图像灰度分布差异，使用改进 PIIFD 计算图像边缘的特征描述，经过高斯场估计和仿射变换实现特征匹配和图像对齐。 Liu 等人[33]提出了 LGHD 特征描述符，在原始匹配图 像经过直方图均衡化并提取图像轮廓后，利用 Log-Gabor 滤波器来获取像素邻域的相位信息，通过所检测关键点的子区域的直方图构建特征描述符。
使用边缘检测算法提取图像边缘后计算轮廓角主方向也是一种基于边缘特征的图像配准的思路。李云 红等[34]针对电力设备红外与可见光图像配准的特点提 出一种基于 Freeman 链码差的 CSS 算法实现红外与可 见光图像配准，具有很好的配准效果。Cheng 等[35]为了 发现用于图像配准的图像中丰富的几何特征，利用 Canny 边缘检测算法分别提取电力设备红外图像和可 见光图像的轮廓点云，而后利用 Clifford 代数计算轮廓 角主方角用于对待配准图像进行空间变换，该方法在 有大旋转的图像中的配准误差逼近无明显旋转的配准误差，侧面反映了旋转不变性和稳定性。
基于区域特征的配准方法则是选取具有显著性的区域信息作为特征区域，陈亮[36]采用改进的相似性 测度函数同Canny算子相结合提取边缘特征用于构造 边缘区域，将粒子群搜索算法作为优化算法，利用边 缘区域实现红外与可见光图像的配准。Liu 等人[37]提 出了一种基于搜索空间和特征空间优化的视觉显著 性和 SIFT 相结合的图像配准算法。采用调幅傅里叶 变换构造显著性区域以得到显著性特征点，通过主成 分分析（PCA）方法建立了 SIFT 特征的降维性，实现红外图像与可见光的鲁棒配准。
另外，一些研究人员还通过构建变换模型实现跨 模态图像的配准。廉蔺[38]选择在多尺度空间提取两幅 图像的边缘信息，分别采用仿射模型和投影模型作为变换模型，实现自动配准。Ma 等人[39]通过利用非刚性变换模型在再生核希尔伯特空间（Reproducing kernel Hilbert spaces, RKHS）实现图像之间的变换， 结合高斯混合模型剔除与对应函数不一致的错误匹 配对，同时在图像变换中引入正则化项来增强变换的平滑性。李巍[40]采用形状上下文描述子对局部区域特 征进行描述，提出 Student’s-T 分布混合模型作为变换 模型，实现红外与可见光图像配准。
针对非线性变换降低了变换模型的泛化能力，增 加计算复杂度等问题，Min 等人[41]提出了一种增强仿 射变换（Enhanced affine transformation, EAT）的非刚 性红外和可见光图像配准。根据局部特征估计出由全 局变形构造的最优 EAT 模型，利用图像对之间的潜 在对应关系，建立高斯场的目标函数。在另一项工作 中[42]，Min 等人将图像配准视为点集配准，如图 7 所示，利用 Canny 边缘描述符从红外和可见光图像的边 缘图中提取点集，通过改进的高斯加权形状上下文 （Gaussian weighted shape context, GWSC）提取匹配点， 结合增强仿射变换模型实现高斯场距离测量，从而描述红外图像与可见光图像之间全局变换的正则性。
目前提取特征点的算法相对比较成熟，并且种类 较多，对于算法的选择也具有更多的可能性和灵活 性。这也是基于特征点的提取方法能得到广泛应用的原因；由于不需要在像素级上对图像进行特征点的筛 选与匹配，基于图像轮廓特征的配准方法计算量更小，但对于适用的图像受到了局限；采用特征区域方法能够有效抑制噪声，具有较好的稳定性，但获得的红外与可见光图像区域相似性较小，不易达到一致性，并且受尺度变换及图像角度等因素影响，获得相同区域难度大。当然，随着图像分割技术的不断发展， 基于特征区域的配准方法也将得到更深入地研究及 广泛地应用。
2.3 基于深度学习的红外与可见光图像配准方法
现阶段，由于基于深度学习的图像配准方法在红 外与可见光中的应用相对有限，无法像基于区域与特 征的红外与可见光图像配准一样进行细致分类。但一 般而言，基于深度学习的图像配准主要利用深度网络对两幅图像进行相似性测度，通过反向传播寻找最优 相似性。在红外与可见光图像对放入网络之前的预处理阶段，部分研究人员采用传统算子或生成对抗网络 的跨模态映射对可见光图像进行梯度映射转为红外图像以更好地提取特征。
2.3.1 基于卷积神经网络的相似性测度模型
Zhao 等人[43]利用超列结合卷积神经网络中的不同层特征，以匹配热图像和可见光图像中的关键点。 同时，该方法利用空间几何约束进行配准图像的相似 性测度，其精度较传统的特征点检测方法有所提高。 图 8 为 Wei 等人提出的一种利用卷积神经网络的梯度引导多光谱图像的配准网络 RegiNet[44]，该网络是 一个端到端网络，它使用目标图像和参考图像的梯度 图作为输入，同时生成配准图像作为输出。RegiNet 进 行多尺度特征提取，以考虑不同大小的特征[44]。在配 准放入配准网络前，利用 Sobel 算子对可见光图像进 行梯度映射生成相应红外图像，RegiNet 分别对参考 图像和浮动图像的梯度映射进行编码，然后将它们连 接起来以配准目标图像。同时，在训练过程中增加了 边缘信息的权重提高了配准性能。在这些方法中，配 准对要么是相同的图像谱，要么差异小。多种深度网 络模型在红外与可见光图像配准中的尝试，使得利用卷积神经网络提取红外与可见光图像对中的潜在共 同特征成为了可能。
2.3.2 基于生成对抗网络的图像配准
生成对抗网络（Generative adversarial network, GAN）因其可实现跨域图像映射被应用到红外与可见光图像配准中，生成器实现可见光图像到红外图像的 映射，判别器模块判断配准后图像与原图像的相似度、图像是否足够逼真等。基于 GAN 的变换参数预 测框架如图 9 所示。
Wang 等人提出了一种用于红外与可见光图像配 准的二阶端变压器对抗网络 TAN[45]。图 10 为 Wang 等人采用的配准框架及部分实验结果，在第一阶段利 用条件生成对抗网络（cGAN）学习从可见光图像中得 到的红外图像和映射的红外图像之间的从粗到细的 变换；在第二阶段利用“Flownet”网络和采样器应用 红外图像与可见光图像对，得到精细的对齐红外图像，即扭曲图像；最后利用判别器网络判断扭曲图像是否足够逼真，利用对抗性较好地实现了红外图像与 可见光图像的高精度配准。
Kumari 等人[46]同样利用具有空间变压器模块的 生成对抗网络实现了红外与可见光图像的配准，对抗性损失迫使生成器输出一个类似红外的图像与原红 外图像放入判别器中判断生成器输出的类似红外的图像是否足够逼真。Mao 等人[47]则利用迁移学习的特点，在图像输入对抗子网络之前，使用并行的卷积自 动编码器在可见光分支和红外分支两个图像域重建图像，以此提高特征匹配的性能。杨冰超等人[48]选择 利用 GAN 的模态转换能力从红外图像中生成伪红外 图像，使用 SURF 算法结合 PIIFD 特征描述子提取生 成图像特征点，实现特征描述。
红外图像和可见光图像所表达的光学特征、几何 特征和空间位置有很大不同[49]。难以使用卷积神经网络（Convolutional neural network, CNN）获得两个或多个点之间的空间关系。基于生成对抗网络的配准方 法能够完成可见光到红外图像的映射，但也需要加入传统利用传统的 SIFT、SURF、PIIFD 等特征点提取 算子实现特征描述。
3 红外与可见光图像配准的应用
红外图像可在全天候与昼夜条件下根据辐射差 异将探测目标与背景区分开来，而可见光图像可以提供高空间分辨率和高清晰度纹理细节。作为图像融合 的必要前提之一，红外与可见光图像配准在众多领域 中已得到诸多应用。
电力设备作为电力系统的主设备，时常处于高电 压、高温的工作状态与日晒雨淋的恶劣环境中，导致 其容易产生故障。只依靠可见光图像监测无法统计热量信息，而红外图像虽然能够依靠物体热信息探测目标的热量不寻常点，但在细节纹理上不够突出。实践 证明将红外图像与可见光图像配准技术应用到电力 设备在线监测系统中，可以在实现电力设备热像显示 的同时实现其精确定位，满足电力系统的实时在线监 测需求，也提高了对于故障点检测的精确度，保障电 力设备安全及供电可靠性[50-51]。
在医学领域中，将热成像技术应用于骨伤与关节 疾病、脑梗等脑部疾病、乳腺癌等肿瘤癌症的早期诊断等医学领域中，能够通过体温的变化显示出人体某 处可能出现的病灶。根据患者红外图、CT 图像、MRI 图像等多模态图像进行配准对齐，有助于确定病灶区 域，同时，对不同时间段的同一人体区域图像进行配 准可以对疾病诊断、手术规划、术后恢复情况等做出 细致分析。通过对多模态医学图像配准技术的研究， 能够推动现代临床医学技术的进步[52]。
卫星、无人机等空中摄影技术的更新以及可见光传感器的发展促进了多模态图像配准技术在遥感图 像中的应用。如根据卫星热成像图与可见光图的匹配 结果分析某一区域的气象；在农林业中利用热成像反 应植物温度、可见光图像能够对应到具体植株部位的 特点对植物进行水分胁迫监测、病毒感染部位分析、 生长状况监测；通过对获得的红外与可见光遥感图像 进行配准能够实现侦察、跟踪以及军事目标的精确打 击[53]。
红外与可见光图像配准技术还应用于材料力学 中以研究力学性质、目标物运动跟踪、道路与车辆的 场景分类、人脸识别、自动驾驶领域中辅助驾驶等众多领域。
4 结束语
发展到目前的红外与可见光配准技术已覆盖电 力、军事、辅助驾驶与人脸识别等领域。虽然红外与 可见光图像的配准算法有很多，但是在不同的应用场 景下具有不同的应用需求，如电力系统在线监测领域 对图像的实时性要求较高而医学领域对图像的配准 精度要求较高等。因此目前还没有一种全面的图像配 准算法能够囊括所有的应用场景。针对未来红外与可 见光图像配准算法的发展，可以从以下几个方面进行 改进以提高图像的配准效率：①对于基于区域的图像 配准算法可以在改善相似度量函数、提出更有效的变 换域算法等方面进行改进。②对于基于特征的图像配 准算法可以在改善图像预处理过程、对传统的描述算 子进行降维、设计更精确的错配消除算法等方面进行 改进；③随着深度学习在图像配准领域的不断研究， 有望实现利用深度网络更好地提取红外与可见光图 像的几何特征，从而使深度学习的图像配准方法在红外与和可见光领域得到更好的应用。