基于sMLD特征的远红外航空图像配准算法

郭璠; 李小虎; 朱洪; 唐琎; GUO Fan; LI Xiao-Hu; ZHU Hong; TANG Jin

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

摘要

航空场景下的远红外图像迫切需要准确、鲁棒、快速的特征描述与自动配准方法。由于已有的多重线型描述符MLD特征存在“特征孤岛”和“尺度变换受限”的问题，因此针对远红外航空图像的配准问题，文章提出了一种聚合特征点以及线型描述符分段统计的特征描述方式，即sMLD特征。结合sMLD特征相互连接构成网状拓扑结构的特性，还提出了一种由粗到细的分支加速匹配算法RF-BA。其中，RF-BA粗匹配充分利用拓扑图的结构，通过局部寻优算法提高匹配的效率。RF-BA精匹配利用最小外接凸四边形原则和GMS校验原则，提升配准精度。实验结果表明，与已有的几种代表性配准方法相比，所提方法在配准精度和时间开销方面均具有更好的性能。

关键词

远红外; 航空图像; 图像配准; 特征提取; 特征匹配

引言

图像配准是对统一场景区域中由不同的时间、视角或传感器获得的多幅图像在几何上寻找对应关系的过程，它是实现图像的拼接、融合以及变化检测等工作的前提和基础^［

1］。图像配准主要包括特征的提取和匹配，即利用图像中的显著特征，将其提取并表达为描述符。然后基于此图像描述符的相似性来建立两个图像的位置几何关系，再在两张图像中对比描述符进行匹配，以期克服图像的噪声干扰和图像的复杂几何失真问题等。

目前基于特征的图像配准方法引起了学者们的广泛关注。例如，Lowe^［

2］提出了SIFT特征提取算法，其具有尺度不变性和旋转不变性，但是128维的特征描述符计算量较大。Bay等人^{［参考文献 3

百度学术}3］提出了SURF算法，其速度相比SIFT提升3倍左右，而性能没有下降。Rublee等人^{［参考文献 4

百度学术}4］提出了ORB算法，ORB算法是结合带方向检测的FAST检测器^{［参考文献 5

百度学术}5］和具备旋转不变性的BRIEF描述符^{［参考文献 6

百度学术}6］的一种高效的特征检测算法，但其无法克服尺度变换问题。随后，Leutenegger等人^{［参考文献 7

百度学术}7］提出了BRISK，Alahi等人^{［参考文献 8

百度学术}8］提出了FREAK，Saha等人^{［参考文献 9

百度学术}9］提出了ALOHA等二进制的特征描述算子。除了以上特征提取算法，又有一些特殊的算法被提出。例如Alcantarilla等人^{［参考文献 10

百度学术}10］的KAZA算法使用非线性尺度空间避免边界模糊和细节丢失，使得算法能获得更好的鲁棒性。为了提高KAZE的计算效率，Accelerated KAZE （AKAZE）算法^{［参考文献 11

百度学术}11］被提出。AKAZE引入的快速显示扩散数学框架加速求解可以提高简历非尺度空间的效率。同时，其还引入相关二进制描述符，以解决旋转不变性和尺度不变性问题。近几年来，Boyraz等人^{［参考文献 12

百度学术}12］对比了23种特征提取算法的组合，他们发现SIFT在测试中综合表现是最准确的，而结合FAST检测器和BRIEF描述符的ORB算法在测试中速度是最佳的。为此，Bian等人^{［参考文献 13

百度学术}13］提出了一种基于网格运动统计的GMS算法，此算法能够在低质量以及模糊的图像中实现实时的匹配。尽管上述这些方法在可见光图像中具有良好的效果，但对于远红外图像，由于其自身特性，直接使用往往处理效果不佳。

与此同时，红外图像的配准研究近年来也取得了一些进展。例如Alam等^［

14］利用基于梯度的配准算法来估计所获取的红外图像帧之间的偏移。Wang等人^{［参考文献 15

百度学术}15］提出了一种灰度非均匀性校正算法逐帧补偿远红外图像序列，然后利用基于SURF改进的方法来对远红外图像进行配准。Dong等人^{［参考文献 16

百度学术}16］提出了一种空间自适应的免疫克隆选择优化算法，其对红外图像配准的鲁棒性较高。而袁梦笛^{［参考文献 17

百度学术}17］则利用相位相关法结合角点检测方法，实现远红外图像的配准。裴夏等人^{［参考文献 18

百度学术}18］提出了一种双向搜索算法实现远红外图像中的高质量特征匹配。本文主要受Shi等人^{［参考文献 19

百度学术}19］提出的多重线型描述符（Multiple Line Descriptors， MLD）特征的启发，针对远红外航空图像分辨率较差，对比度和信噪比较低，视觉效果模糊，且具有大量重复结构或稀疏结构，同时在进行图像配准时运行时间长并且匹配准确度低等难点，提出了一种基于sMLD （Segmented MLD）特征的远红外航空图像配准算法。本文的主要贡献如下：

1）传统的特征点描述主要是对特征点邻域信息进行统计，这通常需要设计额外的高复杂性算法来使描述子能够有效表达尺度和方向等信息。而将特征点连接为线段，提取线段上的有效信息能够生成线型描述符。不同于点特征，线特征本身即拥有准确的尺度和方向等信息。但MLD特征中存在“特征孤岛”和“尺度变换受限”的问题，为此本文提出了一种聚合特征点以及线型描述符分段统计的sMLD特征解决方案。

2）结合所提sMLD特征相互连接构成网状拓扑结构的特性，采用一种深度优先搜索，由粗到细的分支加速匹配方式RF-BA较好地实现了图像特征匹配。其中，RF-BA粗匹配充分利用拓扑图的结构，通过局部寻优算法提高匹配的效率；RF-BA精匹配则利用最小外接凸四边形原则和GMS校验原则，提升配准精度。

1 基于sMLD特征的远红外航空图像配准算法

1.1　算法整体流程

在航拍场景下，直升机的飞行高度通常为1～2 km，拍摄距离较远，同时为了不受时间和气候的限制，采用远红外相机，响应波段为8～14 μm，对应的红外线为长波。由于红外图像是通过测量物体的热辐射而成像的，因此相比于可见光图像来说，图像的分辨率较差，对比度和信噪比更低，视觉效果也更为模糊，在图像配准上难度也更大。长波红外与短波红外相比来说，由于短波红外利用目标反射环境中普遍存在的短波红外辐射，在分辨率和细节上更优，所以短波红外图像配准难度相对较低。同时，在远红外航空图像中，覆盖区域很广且拍摄角度会发生变化，因此图像的光线强度存在显著差异，还存在重复和稀疏结构，并且轮廓边缘较少，在特征匹配中存在许多异常，导致在配准上难度相对较大。

基于单目视觉的远红外航空图像配准不同于一般场景中的图像配准，飞机在高空中可能受气流影响，会产生颠簸，其位姿数据通常缺失。因此，航空图像的配准更加依赖算法精确性，需要一种高鲁棒性的算法。本文所提出的基于sMLD特征的远红外航空图像配准算法流程如图1所示。由该图可知，此算法主要通过所提出的一种改进的MLD特征，生成线型描述符，并将其组合构成网状拓扑结构。而在特征匹配阶段，所提方法结合图的特性，采用“由粗到精”的策略提出了一种利用局部寻优算法提高匹配效率的配准方法RF-BA。

图1 远红外航拍图像配准算法流程图

Fig. 1 Registration algorithm flow chart of far infrared aerial images

1.2　基于线型描述符的图像配准方法

1.2.1　基于线型描述符的MLD特征描述

MLD特征检测器检测到的特征点都会通过线段与多个特征点相连。相比于其他经典点特征，MLD特征具有更强的鲁棒性^［

19］。图2即给出了MLD特征的详细结构。

图2 MLD特征描述示意图

Fig. 2 The schematic diagram of MLD feature description

如图2（a）所示，MLD特征描述先将图像中检测到的任意一对特征点连成线段，其线型描述符如图2（b）中所示。然后假设该线段长度为L，等分为n段，获得n+1个等分点 $P_{r} (r = 0,1, 2, \dots, n)$ 。接着为抑制噪声干扰和增强描述子的鲁棒性，计算每个等分点邻域 $a \times a$ 大小图像块的总像素强度值，其中图像块边长 $a$ 和线长 $L$ 满足线性关系 $a = ⌊k L + c⌋$ 。最后对比 $P_{0}$ 到 $P_{n}$ 相邻图像块总像素强度值大小，若后者大于前者则置1，否则置0，最终能得到一个n维的二进制描述符。在MLD特征中，一张图像上任意一个特征点能够和所有其他特征点进行连线，这就存在一个弊端：点特征通过提取特征点邻域信息构建描述子，实际上特征点的数量决定描述子的数量，而线型特征不同于点特征，特征点相互连线，描述子数量将会高出指数等级。假定特征点有N个，则存在N（N-1）/2根线段，即同样数量的描述子。为解决时间复杂度过高的问题，MLD特征对特征点之间连线的长度进行限制，可以使得每个特征点平均只连接上C根线段，如图2（a）所示，其中C是一个常数，因此实际获得C×N个二进制描述子。范围限制得越小，则C值越小，越少的特征描述子有利于减少存储占用和提高匹配效率，同时约束线段长度的范围也意味着约束特征的尺度不变性。当所有特征点据此连接起来，就会成为一个网状拓扑结构，如图2（c）所示。MLD特征将其中可能存在左上角的独立特征点，以及右下角互相连接的几个特征点称作“特征孤岛”，这是限制线段范围所致。虽然只要检测到的特征点数量多或者分布均匀即可避免，但对于远红外图像而言，前述条件较为苛刻。

1.2.2　改进的sMLD特征描述

MLD模型为降低时间复杂度对线段长度进行了约束，设置了参数 $(L_{m i n}, L_{m a x})$ ，其默认取值分别为128、256。通过合理设置参数范围，可有效减少描述符数量，但同时也会限制尺度不变性。此外，由于设置的 $L_{m i n} = 128$ ，因此距离较近的特征点将无法构成MLD特征，这实际上不利于后续在较小的单元格中求取局部单应性矩阵，会损失精度。因此，本文提出一种改进的sMLD特征，主要是聚合特征点以及将线段分段，称之为sMLD特征（Segmented MLD）。相比于MLD特征仅保留在线长范围 $(L_{m i n}, L_{m a x}) = (128,256)$ 之内的特征，本文提出的sMLD特征主要有两处不同：

1）聚合特征点。为了抑制噪声干扰和增强描述子的鲁棒性，在生成描述符时，是取决于边长为a的图像块的总像素强度值，而a和线长L满足线性关系 $a = ⌊k L + c⌋$ 。如图3（a）所示，假设有7个特征点，其中在特征点AB所在的邻域，即 $a \times a$ 大小图像块的范围内，存在其他特征点，实际上生成描述符是取决于图像块的信息，而在同一个图像块内的特征点，其信息几乎没有太大的差别，因此如图3（a）所示，将边长为 $a$ 的图像块内的所有特征点聚合为一个特征点，可以在不损失特征信息的同时有效减少生成描述符的数量。

图3 聚合特征点及端点与描述符关系示意图

Fig. 3 The schematic diagram of aggregated feature points and the relationship between endpoints and descriptors

2）长短线段。我们实际采集图像的分辨率为640 $\times$ 480，将 $(L_{m i n}, L_{m a x}) = (0,640)$ 定义为最大的线长范围。线长范围 $L \in (l_{1}, l_{2})$ 的线型描述符称为“长线段”，用于匹配算法中跨越网格，搜索匹配点；线长范围 $L < l_{m i n}$ 的线型描述符称为“短线段”，可避免出现“特征孤岛”，其主要是用于匹配算法中进行网格内搜索，提升局部单应性矩阵的计算精度。在此基础上，所提算法将划分网格并求取各单元格的局部单应性矩阵。如果是利用MLD特征控制线长在 $(L_{m i n}, L_{m a x}) = (128,256)$ 的范围内，一方面不利于提高各个单元格的局部单应性矩阵的精度，另一方面“特征孤岛”会对后续的特征点剔除带来额外的时间开销。因此，sMLD特征描述方法则主要是针对后续匹配算法的需求所进行的改进。

sMLD算法需要提供全部特征点的位置信息，以及特征点数量、描述符维度和线性因子值。该算法通过循环遍历所有特征点，同时连接任意两个特征点之间的线段。但受输入的线长范围所约束，仅构建适当长度的线段并生成其线型特征描述符。具体来说，该算法首先通过欧氏距离计算任意两个特征点间线段 $\bar{p_{0} p_{n}}$ 的长度L。其次通过线性公式 $a = ⌊k L + c⌋$ 计算等分点所在局部图像块的边长a。然后进行条件判断，如果L满足 $L < a$ ，则聚合该对特征点。若L满足 $L < l_{m i n}$ 或者 $L \in (l_{1}, l_{2})$ 的条件，则等分 $\bar{p_{0} p_{n}}$ 得到 $n + 1$ 个等分点 $p_{r}$ ，否则舍弃该线段。接着，利用给定积分图SI的右下角像素强度值减去左上角像素强度值，可以在常数时间复杂度内，获得以 $p_{r}$ 为近似中心的局部图像块的总像素强度值 $S_{r}$ 。在此基础上，比较相邻两图像块的总像素强度值大小，当 $S_{r} > S_{r - 1}$ 时，相应的二进制位置为1，否则置为0。最后，将二进制串 $b (r)$ $(r = 0,1, . . ., n)$ 转化为整数形式 $f d = \sum_{r = 0}^{n - 1} 2^{r} \cdot b (r)$ ，存入线型特征描述符中，同时保存满足线长范围的特征点存放位置、坐标信息和实际线长。

1.3　由粗到细的分支加速匹配算法

所提sMLD特征使用了两种线长度：大范围搜索的“长线段” $L \in (192,320)$ ，以及小范围搜索的“短线段” $L < 64$ 。最终会获得一个网状拓扑结构，实际上就是数据结构中的图，如图2（c）所示。因此，无需穷举或者像RANSAC算法那样迭代缩小误差，图结构可以利用局部寻优算法提高匹配的效率。本文将通过两种不同长度的线特征分别进行粗匹配和精匹配，在避免局部相似结构误判断的同时，提高构建单应性矩阵的精度。所提这种由粗到细的分支加速匹配算法称为RF-BA算法。

在GMS算法^［

13］中，划分网格并利用统计数据，能有效提高算法的运行效率。所提算法划分网格有两个原因：一是使得RF-BA算法能充分利用图结构，加速匹配；二是获得更为准确的局部单应性矩阵。为此，所提算法将图像划分为

G \times G

的不重叠单元格。然后按照所提出的“长短线段”的概念，对应

L \in (192,320)

的“长线段”用于跨越网格搜索，此过程称为粗匹配。而

L < 64

的“短线段”则用于网格内搜索，称其为精匹配。

1.3.1　RF-BA粗匹配算法

为实现RF-BA算法，需要从一对正确的匹配点对开始搜索。通过实验我们发现：在连续两张图像中响应值较大的特征点中，几乎一定能找到至少一对正确的匹配点。实际上从全部完成排序的sMLD特征点中，查找前 $μ$ （ $μ < N$ ，N为特征点的总个数）个特征点，可以获得初始的一对正确匹配点。

sMLD算法得到的特征信息是按照图结构进行存储的，因此特征匹配无需穷举或者反复迭代，可以通过局部寻优算法来提高匹配的效率。由于sMLD的特征点两两相连形成一个线型描述符，因此每个特征点关联着常数数量的线型描述符，如图2（a）所示。利用该特性，首先将所找出的正确匹配的初始sMLD特征点对作为当前点对，同时将不满足阈值的特征剔除，之后将距离在 $L \in (192,320)$ 范围内的“长线段”予以保留，其他长度的线段进行剔除。然后对该点对所关联的多个线型描述符，分别计算汉明距离。接着选取相似度最高的一对描述符所在的线段作为最优路径，当前sMLD匹配点在两张图中进行转移，线段另一端所对应的端点成为新的当前sMLD匹配点。一直同步地在两张图中重复以上步骤，直到获得足够数量的匹配点。本文将这一部分匹配点称为“定位点”，每一个单元格内都应该至少存在一对这样的匹配点。然而实际中远红外航空图像存在特征稀少的区域，但这些区域并不需要精确地对齐，处于其中的网格不依赖“定位点”，算法允许出现0个“定位点”的单元格。

由此可见，粗匹配算法本质上是一个深度优先算法，我们称其为双图同步深度优先搜索。即采用深度优先搜索对两张图像进行粗匹配，获取“定位点”。如图3（b）所示，单个特征点可能连接着不止一根线段，而线段的另一端对应着多个特征点，此处称其为端点。上述算法的输入参数为两张图像的一对DP和PL。其中，DP表示sMLD算法得到的线型描述符，包含用于匹配的特征信息。PL表示DP对应的线段实际长度，以及另一端特征点的存放位置与坐标信息。算法输出为“定位点”的坐标信息。

具体来说，此算法首先将正确sMLD匹配点对的相关数据从集合中取出，包括描述符特征信息和长度，以及端点的信息。然后筛选两张图像中的“长线段”，并通过汉明距离对两张图像的“长线段”进行局部暴力匹配，获得的距离值（相似度）与端点的位置一起存入Open表中。接着将Open表中的数据按照距离排序。最后将阈值作为递归的结束条件，当距离小于阈值时进行递归，即以最小距离的一对线型描述符作为最优路径。当前sMLD匹配点在两张图中进行转移，线段另一端所对应的端点成为新的当前sMLD匹配点。通过此双图同步深度优先搜索，可找出所有的“定位点”。图4给出了RF-BA粗匹配的示例。

图4 RF-BA粗匹配算法示例

Fig. 4 Example of RF-BA rough matching algorithm

（1）首先对排序后的sMLD特征点中的前 $μ$ 个特征点，采用穷举法找出第一对正确的sMLD匹配点对。虽是暴力匹配，但由于 $μ < N$ ，假设每个特征点连接C个线性描述符，则该步骤的时间复杂度为 $O (μ N C^{2})$ 。

（2）如图4（b）中①所示，第1对正确匹配点（红色点）为当前sMLD特征点对，在Image1和Image2中分别连上了6个和7个线型描述符，但进行局部暴力匹配时，有部分线型描述符无法匹配（灰色虚线），在算法中表现为汉明距离大于设定的阈值 $t h r$ ，因此被剔除。

（3）与此同时，部分线型描述符（红色叉）不满足 $L \in (192,320)$ ，无法实现跨域网格，因此同样被剔除。

（4）剩下的端点则存入Open表，表示待深入搜索的匹配点。同时，根据最优路径（橙色实线），当前sMLD匹配点对转入与其对应的端点（橙色点）。

（5）如图4（b）中②所示，从新的当前sMLD匹配点（橙色点）开始搜索。根据最优路径（蓝色实线），当前sMLD匹配点转移到下一对端点（蓝色点）。

（6）如图4（b）中③所示，继续从新的匹配点（蓝色点）开始搜索。

（7）各层递归的结束条件为：Open表中没有待深入搜索的匹配点，此时会将当前的sMLD匹配点作为“定位点”存入相关集合中。

以上的DFS算法在搜索“定位点”时，会出现无效搜索，即重复地对同一对匹配点进行多次搜索。实际上只需要再添加一个哈希结构的Close表，即可将已经搜索过的匹配点排除，从而有效避免算法陷入死循环。RF-BA粗匹配利用“长线段”，可以跨越网格，避免陷入某一个单元格中，能有效降低局部相似结构误判断的概率。粗匹配获取的“定位点”，均匀分布于绝大部分单元格中，这也是精匹配中各单元格的初始sMLD匹配点对。

1.3.2　RF-BA精匹配算法

精匹配是对单元格进行精确搜索，它的作用是获取更为准确的局部单应性矩阵。所提精匹配算法的具体步骤如下：

（1）如图5（b）和图5（c）所示，将粗匹配找到的“定位点”（红色点）作为当前点对，对距离在L<64范围内的“短线段”予以保留，其他长度的线段则剔除。

图5 RF-BA精匹配寻优示意图

Fig. 5 The schematic diagram of RF-BA precise matching and optimization

（2）对该点对在Image1和Image2中所关联的多个线型描述符的集合均计算汉明距离。选取相似度最高的一对描述符所在的线段作为最优路径，当前sMLD匹配点在两张图中进行转移，线段另一端所对应的端点（橙色点）成为新的当前sMLD匹配点。

（3）算法在Image2中限制的网格数量为1×1，为确保位于网格边缘的特征点能正确匹配，将Image1中网格数量限制放宽到3×3，如图5（c）所示。因此，当对某些sMLD匹配点进行深入搜索时，其部分端点（灰色点）的坐标位置会超出Image2中1×1的网格界限 ${(x_{m i n}, y_{m i n}), (x_{m a x}, y_{m a x})}$ ，则剔除此端点。通过次优距离的线型描述符对，继续进行双图深度优先搜索，直至当前sMLD没有关联的线型描述符为止。然后回溯到上一匹配点对，直至在单元格内搜索出所有的匹配点对。

（4）通过步骤（1）到（3），已找出正确的匹配点对，本步骤利用GMS校验原则^［

13］来对所有匹配点进行校验，筛选掉结果不满足要求的单元格。

（5）对于被保留的单元格，四个匹配点（绿色点）的坐标决定了其最小外接凸四边形，因此用一个最小外接矩形将该凸四边形包围（绿色虚线框），其包含了所有匹配点，且该矩形面积在原图像面积中的占比越大，后续图像配准的精度则越高。此步骤即为最小外接凸四边形原则，保存这4个匹配点对用于后续计算单应性矩阵。

由此可见，RF-BA精匹配利用“短线段”，可以在单元格中进行精确搜索，能有效提高计算单应性矩阵的精度。精匹配的输出为各单元格是否被校验保留的标志，以及被保留单元格中最优的4个匹配点。

2 实验结果与分析

实验中我们主要从两个方面对所提算法进行性能评估： 1）RF-BA匹配算法的性能分析；2）各配准方法的性能对比分析。

在实验数据方面，实验中采用多组远红外图像数据集用于测试，图6即为相关测试数据示例。此数据集中的图像分辨率均为640×480，图像序列名称及其所代表的典型情况依次为：a. Highway（尺度变换），b. Island（光照变换），c. City（模糊），d. Computer（旋转），e. Car（视角变换）和f. Building（缩放与旋转）。每个序列包含两张图片，左图为参考图，右图为与参考图进行特征点匹配的测试图。右图通过参考图变换得到，与其存在一个单应性矩阵，此单应性矩阵用于变换检测到的特征点的坐标位置。通过对比真实特征点与检测所得特征点之间的距离，即可衡量特征检测算法的准确性。

图6 远红外图像特征检测数据集

Fig. 6 Far infrared image feature detection data set

2.1　RF-BA匹配算法的性能分析

1） RF-BA匹配算法的时间复杂度和可靠性分析

sMLD特征描述算法生成的是64位的二进制线型描述符。在特征匹配过程中，通常二进制描述符是根据计算的汉明距离判断描述符是否匹配。而在计算机中，计算汉明距离仅需要进行异或操作与计数操作，此类硬件操作指令的运行效率高。假设共计N个特征点，每个sMLD特征点平均连接上C根线段，其中C是一个常数。因此，RF-BA算法在经过 $μ (μ < N)$ 次对比，找出第一对正确匹配点的效率为 $μ C \cdot (C N) = O (C^{2} N)$ ，而后续双图同步深度优先搜索的寻优效率也是 $O (C^{2} N)$ 。因此，RF-BA算法的整体时间复杂度为 $O (C^{2} N)$ 。可见，相比于BF算法和迭代寻优的RANSAC方法，启发式的RF-BA算法匹配效率较高。

通过在图6（e）所示的Car（视角变换）图像数据集中对参考图像检测出500个特征点，然后利用数据集中的测试图像进行特征点检测，此时就获取了两个特征点集，作为对比图像的正确匹配点对。接着通过sMLD方法分别对两幅图像进行特征提取，然后进行暴力匹配，获得图7（a）所示的匹配对相似度概率密度分布曲线图。最后，改变RF-BA算法的阈值thr，统计在不同阈值下的召回率、准确率以及运行时间，获得图7（b）所示的曲线图。

图7 概率密度分布与阈值影响曲线图,(a)匹配对相似度概率密度分布，(b)不同阈值对RF-BA算法的影响

Fig. 7 Probability density distribution and threshold influence curve,(a) matching pair similarity probability density distribution, (b) the influence of different thresholds on RF-BA algorithm

通过对图7所示的曲线进行分析可获得如下结论：a. 非正确的匹配对，其线型描述符之间的汉明距离概率密度分布情况如红色曲线所示，呈现正态分布。所提算法选择的是64位的二进制描述符，因此最大汉明距离的一半为32，恰好是正态分布的中心，符合统计学中的随机分布特性；b. 正确的匹配对，其概率密度分布情况如蓝色曲线所示，RF-BA算法中的最佳匹配对的分布如黑色曲线所示，可见蓝色曲线与红色曲线有重叠，而黑色曲线与红色曲线几乎无重叠，印证了RF-BA算法中的最优路径所经过的最佳匹配对是具有可靠性的；c. 随着阈值取值的变大，RF-BA算法的召回率会显著增加，随后趋于平稳，而准确率曲线则相反。为平衡召回率、准确率和运行时间，所提算法将阈值设置为 $t h r = 10$ 。

2） RF-BA算法加速效果分析

图8是在Car（视角变换）图像数据集上，利用参考图像将其进行投影变换得到5幅变换程度依次加深的测试图像，以测试暴力匹配法（BF）、快速最近邻特征匹配算法（FLANN）^［

20］、随机采样一致性算法（RANSAC）^{［参考文献 21

百度学术}21］以及所提RF-BA算法的召回率以及运行时间。其中，图8（a）为召回率的对比结果柱状图，图8（b）为运行时间的对比结果条形图。从图8可以看出：1）随着图像情况变得恶劣（Car图像集的视角变得越来越大），所有匹配算法的召回率都出现了不同程度的下降，其中RANSAC方法最不稳定，本文提出的RF-BA算法表现出最强的鲁棒性；2）在运行时间上，BF和FLANN方法效率几乎不随着图像变恶劣而改变，而RANSAC和RF-BA方法则受图像质量的影响。值得一提的是，RF-BA算法在图像质量较好的情况下表现出极高的运行效率，而体现在算法中则是局部寻优算法在高质量的图像中能够更快速地寻找到最优的路径，减少了回溯的时间开支。

图8 各匹配算法召回率与运行时间对比柱状图,(a)召回率对比，(b) 运行时间对比

Fig. 8 Bar chart comparing the recall rate and runtime of each matching algorithm,(a) comparison of the recall rates, (b) comparison of the runtime

2.2　各配准方法的性能对比分析

1） P-R曲线

准确率-召回率曲线（P-R曲线）能够直观地反映不同方法在针对远红外图像数据集的特征提取性能。图9即给出了已有经典局部特征提取方法SURF、AKAZE、FREAK与所提FAST检测器结合sMLD算法的P-R曲线对比图。图6即为本实验所用到的实验数据，分别对应尺度变换、光照变化、模糊、旋转、视角变换以及旋转结合缩放等情况。

图9 FAST结合sMLD算法与其他特征提取方法的P-R曲线对比图

Fig. 9 Comparison of P-R curves between FAST combined with sMLD algorithm and other feature extraction methods

从图9的统计结果可以看出：除了FREAK算法针对模糊图像有特殊的优化外，整体上FAST检测器结合sMLD算法表现更为优异，并且在旋转和视角变换等场景中，sMLD算法的曲线明显更为稳定。由此即可说明：相比于其他几种方法，所提FAST检测器结合sMLD算法可以更好地适应这几类几何变换。

2） RMSE与运行时间

为更为全面地对比所提方法与其他已有配准方法的性能优劣，对比了各配准算法对于远红外航空图像配准的效果以及运行时间。图10即为四组远红外图像测试对，包括：（a） 8位单张灰度图像对，（b） 24位单张真彩色图像对，（c） 8位灰度列图像对，（d） 24位真彩色列图像对。图10（a）和（b）所示的单张图像的分辨率均为640 $\times$ 480，其用于测试顺序图像序列连续配准的性能。图10（c）和（d）所示的大量列图像对的分辨率均为800 $\times$ 10000，其用于测试多列图像之间的配准性能。

图10 四组用于对比实验的远红外图像对

Fig. 10 Four sets of far infrared image pair for comparative experiments

实验中采用了RMSE（均方根误差）对各配准方法进行评估。RMSE能够反映特征点在经过透视变换前后的误差大小，其值越小意味着变换后的图像与参考图像的差异越小，证明配准效果越好。该指标的实验对比结果如图11（a）所示。

图11 RMSE与运行时间的对比结果图，(a) RMSE对比，(b) 运行时间对比

Fig. 11 Comparison of the RMSE and runtime results, (a) the RMSE Comparison, (b) the run-time comparison

从该图可以看出，在处理顺序图像序列中连续两张图像配准时，各种方法的RMSE值差距不大，说明各方法对于单独两张图像的配准准确率相差不大。虽然多数已有方法对两幅图像的配准可取得较好的效果，但却无法很好应对大量图像的配准问题，更无法有效解决大量远红外图像的序列配准问题。实验中我们发现：经典的图像匹配和对齐方法往往仅能实现图像的局部对齐，而很难获得精确的整体配准效果。究其原因是因为航拍场景下的远红外图像获取，主要采取让直升机由上往下逐列采集多组红外顺序图像序列的方式，这就造成单组顺序图像序列图片较多，在进行单列连续配准时就会导致图像特征的逐步消失。同时，多组顺序图像序列配准构成多列图像后，由于透视关系会导致相邻序列图像之间上下重叠率不一致，这也是多数已有方法难以实现多列整体配准的另一主要原因。因此，大量多列远红外航拍图像的配准更加依赖于算法的精确性^［

22］。

本文方法利用所提sMLD特征，结合分支加速匹配算法RF-BA，可以有效地解决具有上述非一致重叠率的大量远红外航拍图像的配准问题。从图11（a）所示的RMSE柱状图统计结果也可以看出，对于多列远红外图像，无论是对8位灰度列图像对，还是对24位真彩色列图像对，所提方法均能在配准上获得最小的RMSE值，对应最优的配准效果。

在方法运行时间方面，主要根据不同的检测器以及匹配算法之间的组合形式，分解为检测器、描述子、预匹配和匹配算法的分别耗时，在条形图中用不同颜色表示，并进行叠加便于统计和对比，实验结果如图11（b）所示。由该图可知，所提方法虽难以像ORB结合GMS方案一样对于较大的列图像对做到实时配准，但其在保证较良好的配准精度的同时，运行时间也是优于多数的配准方案，因此所提方法能够满足远红外航空图像序列配准这一应用场景的实际需求。

基于图10（b）中24位单张真彩色图像对，比较不同组合方法在匹配准确率上的差异，实验结果数据如表1所示。由该表可知，所提方法仅有1个误匹配点，配准准确率高达94.4%，明显优于其他方法，同时RMSE指标也为最优，运行时间仅次于ORB+GMS方法。综上所述，所提方法具有明显的优势，在准确性、实时性以及质量上均得到较大提升，可以很好地解决远红外航空图像配准效果差的问题。

表1 针对图10 (b) 所示的远红外图像对的配准结果

Table 1 Registration results for the far infrared image pairs shown in Fig. 10 (b)

Method	Matching points	Error matching points	RMSE	Accuracy/%	Error matching rate /%	Runtime/s
SURF+BF	36	14	11	61.1	38.9	2.034
SURF+RANSAC	34	8	17	86.7	13.3	1.545
SURF+FLANN+RANSAC	29	6	15	79.3	20.7	1.059
AKAZE+BF	30	13	5	56.7	43.3	2.341
AKAZE+RANSAC	27	6	13	77.8	22.2	1.756
AKAZE+FLANN+RANSAC	25	6	7	76.0	24.0	1.473
FREAK+BF	32	8	12	75.0	25.0	1.941
FREAK+RANSAC	31	8	10	88.5	11.5	1.423
FREAK+FLANN+RANSAC	26	6	8	87.0	13.0	0.868
ORB+GMS	24	3	9	87.5	12.5	0.301
Ours（FAST+sMLD+RF-BA）	18	1	3	94.4	5.6	0.563

3 结束语

本文针对远红外航空图像的配准问题，提出了聚合特征点以及线型描述符分段统计的sMLD特征。在此基础上，结合sMLD特征相互连接构成网状拓扑结构的特性，提出了一种由粗到细的分支加速匹配算法RF-BA。RF-BA算法在粗匹配阶段，主要利用拓扑图的结构，通过局部寻优算法提高匹配的效率。在精匹配阶段，主要利用最小外接凸四边形原则和GMS校验原则来提升配准精度。

实验结果表明：相比于已有的图像配准方法，sMLD特征对于远红外图像的配准具有更好的鲁棒性，特别是对几何变换的场景有更强的适应性。在处理具有非一致重叠率的大量远红外航拍图像拼接应用上本文方法的配准效果也更具优势，同时由于所提方法采用了RF-BA加速匹配方案，因而可在获得较高配准精度的同时，满足实际应用的运行效率需求。正是由于本文所提方法具有配准精确高、误差小、实时性强等优势，因此该方法可以应用于许多特殊的场景，例如城市全景图像、遥感图像和其他宽视野图像的配准拼接，对于军事以及其他行业都具有一定的理论和实践价值。

References

HUANG Hai-Bo， LI Xiao-Ling， Nie Xiang-Fei， et al. Research on remote sensing image registration based on SIFT algorithm ［J］. Laser Journal， 2021， 42（6）： 97-102. [百度学术]

黄海波，李晓玲，聂祥飞，等. 基于SIFT算法的遥感图像配准研究［J］. 激光杂志， 2021， 42（6）： 97-102. [百度学术]

Lowe D G. Object recognition from scale-invariant keypoints［C］// In Proceedings of the IEEE International Conference on Computer Vision （ICCV）， 1999， pp. 1150-1157. [百度学术]

Bay H， Tuytelaars T， Van Gool L. Surf： Speeded up robust features［C］// In Proceedings of the European conference on computer vision. Springer， 2006， pp. 404-417. [百度学术]

Rublee E， Rabaud V， Konolige K， et al. ORB： An efficient alternative to SIFT or SURF［C］// In Proceedings of the IEEE International Conference on Computer Vision （ICCV）， 2011， pp. 2564-2571. [百度学术]

Rosten E， Drummond T. Machine learning for high-speed corner detection［C］// In Proceedings of the European conference on computer vision. Springer， 2006， pp. 430-443. [百度学术]

Calonder M， Lepetit V， Strecha C， et al. Brief： Binary robust independent elementary features［C］// In Proceedings of the European conference on computer vision. 2010， pp.778-792. [百度学术]

Leutenegger S， Chli M， Siegwart R. BRISK： Binary robust invariant scalable keypoints［C］// In Proceedings of the IEEE international conference on computer vision （ICCV）. 2011， pp. 2548-2555. [百度学术]

Alahi A， Ortiz R， Vandergheynst P. Freak： Fast retina keypoint［C］// In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2012， pp. 510-517. [百度学术]

Saha S， Démoulin V. ALOHA： An efficient binary descriptor based on Haar features［C］// In Proceedings of the 19th IEEE International Conference on Image Processing. 2012， pp. 2345-2348. [百度学术]

Alcantarilla P F， Bartoli A， Davison A J. KAZE features［C］// In Proceedings of the European Conference on Computer Vision. 2012， pp. 214-227. [百度学术]

Alcantarilla P F， Nuevo J， Bartoli A. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces［C］// In Proceedings of the British Machine Vision Conference （BMVC）， 2013， pp. 1-11 [百度学术]

Boyraz P， Bayraktar E. Analysis of feature detector and descriptor combinations with a localization experiment for various performance metrics［J］. Turkish Journal of Electrical Engineering & Computer Sciences， 2017， 25（3）：2444-2454. [百度学术]

Bian J W， Lin W Y， Matsushita Y， et al. Gms： Grid-based motion statistics for fast， ultra-robust feature correspondence［C］// In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017， pp. 4181-4190. [百度学术]

Alam M S， Bognar J G， Hardie R C， et al. Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames［J］. IEEE Transactions on Instrumentation and Measurement， 2000， 49（5）： 915-923. [百度学术]

Wang Y H， Feng Y， Cao Y， et al. Application of grayscale nonuniformity correction in infrared image sequence mosaic［J］. Infrared. 2011， 32（9）： 19-28. [百度学术]

Dong L， Fu D M， Yu X， et al. The study on infrared image mosaic application using immune memory clonal selection algorithm［C］// In Proceedings of the 10th World Congress on Intelligent Control and Automation， 2012， pp. 4831-4836. [百度学术]

YUAN Meng-Di. Research on infrared image stitching based on feature points ［D］. Nanjing University of Science and Technology， 2013. [百度学术]

袁梦笛. 基于特征点的红外图像拼接研究［D］. 南京理工大学）， 2013. [百度学术]

PEI Xia. Research on Infrared image registration and Mosaic Algorithm in Vehicle Motion Platform ［D］. Xi'an University of Electronic Science and Technology， 2020. [百度学术]

裴夏. 车载运动平台中的红外图像配准与拼接算法研究［D］. 西安电子科技大学）， 2020. [百度学术]

Shi J， Wang X. A local feature with multiple line descriptors and its speeded-up matching algorithm［J］. Computer Vision & Image Understanding， 2017， 162： 57-70. [百度学术]

Muja M.， D G Lowe. Fast approximate nearest neighbors with automatic algorithm configuration［C］// In Proceedings of the VISAPP International Conference on Computer Vision Theory and Applications. 2009， pp. 331-340. [百度学术]

M A Fischler， RC. Bolles. Random Sample Consensus： A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］. Communications of the ACM， 1981， 24（6）： 381-395. [百度学术]

GAO Yan， XIAO Xiao-Yue， Li Xiao-Hu， et al. Research on stitching method of massive aerial far infrared images with an inconsistent overlap rate ［J］. Infrared and Laser Engineering. 2022， 51（7）： 1-12.高琰，肖小月，李小虎，等. 非一致重叠率大批量航拍远红外图像拼接方法研究. 红外与激光工程， 2022， 51（7）： 1-12. [百度学术]

You are the first Visitors

Governing Body：中国科学院

Organizer：中国科学院上海技术物理研究所，中国光学学会

Address：上海市玉田路500号 Phone：021-25051553

51La

Home

Introduction

Editorial Board

Authors' Guidelines

Open Access

Publishing Ethics

Downloads

Copyright

Contact Us

中文版

基于sMLD特征的远红外航空图像配准算法 PDF

摘要

关键词

引言