网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于自构卷积核改进模板匹配的红外十字靶标中心定位算法  PDF

  • 袁狄剑
  • 许新科
  • 刘通
  • 汪劲雯
  • 杜昱
中国计量大学 计量测试与仪器学院,浙江 杭州 310018

中图分类号: TP391.4

最近更新:2025-04-03

DOI:10.11972/j.issn.1001-9014.XXXX.XX.001

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

靶标中心定位是红外热成像仪标定过程中的关键技术。针对靶标形貌相对复杂的特点,提出了一种基于自构卷积核改进模板匹配的中心定位算法。算法首先通过构造具有靶标图像特征的归一化模板,在下采样与预处理的目标图像上移动模板进行匹配运算,得到粗定位结果;根据粗定位中心对原图进行ROI精细匹配,并通过亚像素细分算法进一步校正,最终确定准确的靶标中心位置。利用该算法对模拟的劣化环境下靶标图像进行检测,能有效避免模糊、背景复杂、目标不完整或者特征不明显的情况对定位的干扰,具有较好的鲁棒性,能够准确地定位靶标中心,且运算速度快,与CCORR、NCC等传统模板匹配和Hough变换相比有较大的提升,可以满足红外热成像仪自动标定过程中的定位需求。

引言

在红外热成像仪投放市场前,需进行整机测试以验证其稳定性和可靠性。光学系统部分需标定热成像仪的视场角、焦距等参数,通常使用固定形状(如十字形)的黑体作为靶标,将热成像仪放置在自动化转台上,通过转动转台控制黑体靶标在视场内移动,并调节热成像仪的焦距和放大倍数,以改变靶标在视场内的大小。通过图像处理方法找到十字靶标的位置并求取其中心像素坐标,是红外热成像仪自动化标定和检验过程中的关键技术。

红外目标检测领域常用的单帧图像处理算法可以分为图像局部处理方法与图像整体处理方

1。这些方法通常关注目标的局部信息与背景的区别,以框选出目标的大致位置或进行跟踪。然而,本文需要在寻找靶标大致位置后,进一步根据其形态学特点准确定位十字中心,这一问题在当前的红外目标检测领域尚未得到广泛关注。

现有的图像中心定位算法中有基于边缘检测与形态拟合的方法,主要用于类圆形中心定

2,也适用于简单的十字中心定3。这类算法高度依赖边缘检测和曲线拟合,对目标形貌特征的简洁度要求较高,在边缘模糊的红外图像上效果不佳,且运算速度无法满足实时检测需求。

对于相对复杂形貌的目标中心定位,模板匹配算法更为适用。模板匹配根据实际的目标图像构建模板,在待处理图像上进行全图移动窗匹配,将匹配程度最高的点视为原图中

4,但是模板的形貌中心是否处于模板最中心像素点位置往往需要进一步证明。此问题同样存在于尺度不变特征变换(SIFT5等基于特征点的匹配方法中。另外,通过模板匹配粗略定位,再根据检测目标的形态特征进行辅助精准定位的方法效果尚6,但都是针对特殊情况的解决方案,适用范围不广。

针对靶标图像相对复杂、靶标特征明显的特点,本文提出了一种基于自构建卷积核的改进模板匹配算法。该算法进行红外十字靶标的中心定位,可以有效避免模糊与噪声对定位的干扰,精准定位靶标中心,解决了传统Hough变换无法定位复杂目标的问题,与普通互相关匹配(CCORR)算法相比具有更好的鲁棒性,相对归一化互相关(NCC)模板匹配运算速度更快,与You Only Look Once(YOLO)等深度学习框架相比,不需要大量训练集支持,能够满足红外热成像仪自动标定过程中的定位需求。

1 基于自构卷积核的改进模板匹配算法

本文根据靶标的形态学特征构建归一化模板矩阵,并在匹配同时对图像进行卷积滤波,以去除大范围亮色背景的影响,并根据图像局部与模板的匹配程度判断目标的大致位置。

应对目标灰度值过低的情况,预处理阶段加入二值化,同时利用金字塔模板匹

7原理对二值化图像进行下采样粗匹配,再在粗定位中心附近对原图进行精细匹配与亚像素插值校正,获取精确的十字中心坐标,理论精度为亚像素级。图1是算法的整体流程。

图1  改进模板匹配算法流程图

Fig.1  Flowchart of the improved template matching algorithm

本文通过构造模板在整幅图像上进行匹配,并依据卷积结果实现靶标中心的实时检测。模板的构造是匹配的关键,其准确度直接影响中心定位的精度。用于匹配运算的模板是一个浮点数方阵,映射在灰度域上则显示为与十字靶标相似的图像,十字中心对应方阵中心坐标的像素。构造模板时需考虑十字靶标的形态、方阵内数值的选取、旋转缩放等后处理流程。

图2展示了两种常用的十字靶标实拍图像。此类图像不仅具有红外图像信噪比低、边缘特征不明显等特点,还在形态上与常见十字靶标不同。为应对军用大变倍比连续变倍红外热成像仪的测试需求,保证在不同放大倍数下均能定位靶标中心,红外十字靶标通常具有独特的形态。当靶标移动到视场边缘时,仍可依靠内部的小十字或者圆形较为准确地找到十字中心位置。

(a)  

(b)  

图2 两种典型红外十字靶标:(a) 十字中嵌套十字;(b)十字中嵌套圆点

Fig.2 Two Typical Infrared Cross Targets:(a) Nested crosses in a cross; (b) nested dots in a cross

1.1 匹配卷积核构造

使用本文方法构造模板时,根据靶标的尺寸信息及其在实拍图像中占的像素数量,生成一个相似的方形矩阵Kernal。该矩阵由浮点型数据构成,在原图上进行逐像素匹配:计算其与对应的图像块Block的内积结果R(x,y),并以步长1进行滑动,遍历整幅靶标图像。所有坐标的结果构成一个结果矩阵Result。定义为:

Rx,y=x',y'(Kx',y'I(x+x',y+y')) , (1)

由于卷积过程是相关匹配行为,结果值R(x,y)最大的位置表明模板与图片中的十字靶标匹配度高。遍历该矩阵的值,最大值的坐标即为粗定位的靶标中心位置u0,v0

相关算法的模板匹配有误判大范围亮色图块的问题:当Kx',y'元素值非负时,卷积结果与I(x+x',y+y')正相关,而不完全与形状正相关。这导致匹配的图块亮度越高,得分也越高,因此需要在匹配过程中滤除。不同于NCC对运算结果归一

8,本文直接对卷积核进行预处理,将靶标亮色部分设为正加权,暗色部分设为负加权,对模板进行归一化后再进行匹配。方法是:

(1)根据靶标的尺寸构造有符号浮点数方阵Kernal,并将暗色位置的元素值置为-1;

(2)为保证卷积结果与原图的平均亮度一致,应使模板方阵全部元素之和为0,即亮色位置元素置为归一化阈值tt的选取由下式确定:

t×k=imKk+-1×k=jnKk=0 , (2)

式中,Ki~mKBG,为背景部分对应位置的矩阵元素值,Kj~nKCR,为十字部分对应位置的矩阵元素值,且KBGKCR=KK为整体模板各点灰度值的集合。在卷积核图像中,根据亮色部分与暗色部分的面积关系,同样可以获得th的值,计算方法为:

t×SCR+-1×SBG=0 , (3)
t=SBGSCR , (4)

式中,SCR为卷积核图像十字部分面积,SBG为卷积核图像背景部分面积。对同一种十字靶标,以上图像面积的比例关系视为已知。

(3)将模板方阵归一化到[-1,1]区间,方阵元素当前最大值为t,最小值为-1,因此新的方阵元素逐次进行如下计算:

K'x,y=Kx,yt , (5)

式中,Kx,y是Kernal在(x,y)点的方阵元素值, K'x,y是该点归一化后的元素值。

应用归一化模板后,单图块卷积结果公式为:

R'x,y=1tx',y'Kx',y'Ix+x',y+y' , (6)

1.2 模板形态学变化

在十字中心定位问题中,目标的形变往往是匹配中的难点。得益于平行光管的引入,十字基本不存在垂直与水平方向上的倾斜形

9;红外热成像仪的标定和检测时,其额定放大倍数基本固定且已知,这也给模板的构造带来了便利;靶标的十字形状通常依靠在面源黑体前加装金属挡板实现,其旋转机械结构会带来3°以内的角度偏10

模板匹配的结果矩阵类似将原图以卷积核为窗的滤波结果。如图3(a)灰色部分,倾斜的小型十字靶标经过严格水平的卷积核滤波后宽度增加,不影响中心位置;但在十字目标范围超出图像的情况中,靶标可见部分不对称,如图3(b),原图角度偏差可能导致卷积后中心位置产生像素级偏移,需在切换靶标后重新校正。

(a)  

(b)  

(c)  

图3 十字偏斜导致定位偏差示意图:(a) 小型偏斜十字,卷积核未校正;(b)大型偏斜十字,卷积核未校正;(c)大型偏斜十字,卷积核校正;

Fig.3 Schematic diagram of positioning deviation due to cross deflection:(a) Small deflected cross with uncorrected kernel; (b) large deflected cross with uncorrected kernel; (c) large deflected cross with corrected kernel

为了避免更改原图导致十字位置变化,可直接对卷积核进行仿射变换,使其角度与原图相近,如图3(c)。卷积核Kernel旋转时应遵循以下原则:(1)十字中心保持在图像正中心,作为旋转中心;(2)采用插值算法平滑旋转产生的锯齿,减少匹配精度损失。

1.3 金字塔模板匹配

金字塔匹配基于卷积模板匹配,通过对原图像与卷积核Kernal分别进行梯次下采样,生成二者的低分辨率图像集合,并分别进行匹配。每个集合的图像来源于同一张原始图,且分辨率逐层降低,呈现类金字塔形状,层级越高,则图像越小。

金字塔匹配的目标是在不同分辨率的图像金字塔中寻找匹配,从而显著提高匹配速

11。在高层级,全匹配耗时较少,能够快速筛选出最匹配的感兴趣区域(ROI);然后通过逐层迭代,进一步精确匹配,从而提升整体算法的定位速度。

图4  金字塔模板匹配

Fig.4  Pyramid Template Matching

本文算法结合了二值化预处理与金字塔结构,首先用二值化将原图像中的背景与其余部分(十字、大块亮色与噪声)区分开,进行下采样后,与同样缩小的模板进行初步塔尖匹配,通过卷积滤波效应滤除噪声;同时在自构卷积核中负权重的作用下,大块亮色背景的得分仅为目标的一半,使目标在结果矩阵上表现为一个明显的尖峰,最高点即是此次匹配得到的初定位中心u0,v0。将u0,v0映射回原图,截取比模板略大的ROI区域并再次匹配,可以在较低运算量下准确获得十字中心位置u1,v1

1.4 亚像素插值

为了进一步提高定位的准确性,采用超分辨率方法对定位结果进行校正。以定位坐标u1,v1为中心,在原图中截取图像块进行插值。图像在十字中心梯度变化较小,意味着最大值对应的卷积位置匹配度更高,但不一定完全符合十字中心。因此使用亚像素细分算法进行插值,重新寻找最高点,并根据位置的映射关系对十字中心位置进行校正。

常见的亚像素细分算法有:最邻近插值(Nearest)双线性插值(Bilinear)、双三次插值(BiCubic),以及基于机器学习的亚像素细分算法

12。由于对计算的速度要求较高,本文考虑传统插值算法。

双三次插值算法利用周围16个像素的灰度值进行加权平均,以推断出每个子像素的灰度值,可以获得更平滑的图像细节,对于像素之间的复杂关系考虑更全

13。虽然它会在图像的高频区域(例如包含边缘的区域)中产生伪影,但对十字中心附近的平滑变化区域几乎不产生影响。

基于金字塔匹配降低了计算量,待插值像素数量较少的条件,可采用效果较好的双三次插值算法,以获得更平滑的插值结果和更准确的中心像素坐标。以插值间隔数量为10为例,两点之间插入9个亚像素,可在亚像素级对中心坐标进行补偿校正。

本文算法采用金字塔模板匹配结构,在高层级进行二值化等预处理以增强背景抑制;在低层级进行ROI提取和卷积匹配以提高运算速率;最后对卷积结果进行超分辨率插值,将中心定位精度扩展至亚像素级,实现了十字靶标中心的快速准确定位。

2 实验结果与分析

2.1 实验平台

本文将所述算法与传统Hough变换、CCORR模板匹配、NCC模板匹配进行对比,算法检验在Windows平台的Matlab R2021b进行。

红外图像通常对比度低、分辨率差、信噪比低,视觉效果模糊,这些问题会影响图像的清晰度和可用性。因此实验构造多张中心位置已知的十字图片,进行旋转缩放、添加噪声、增加不规则亮暗色块、调整亮度与对比度、平滑滤波等处理,在不改变待测目标十字中心的前提下模拟不同红外热成像仪显示的图像,分别使用上述四种算法进行中心定位,并与已知的真值比较,获得其准确率与算法效率。

待测算法中,互相关模板匹配与归一化模板匹配不基于自构模板,因此实验中采用的模板均从待测图像中手动截取。

常用的边缘检测+Hough变换的方案无法准确识别此类较为复杂的十字形貌,实验中采用了二值化+膨胀腐蚀+脊线提取+Hough变换的方法,将目标十字细化为若干条线段后进行Hough直线提取。

2.2 测试集构造

待测图片均采用红外HD规格,分辨率为1 280×1 024;十字中心真值为(640.5,512.5)。为保证十字图像在0.5倍、0.25倍、0.125倍缩放后中心位置不变且锐利可观,设置十字形状规格为:中心十字由两个32*8的矩形构成,外围十字由四个384×64的矩形构成。

将100张测试集图片,以噪声水平0.01、模糊卷积核3×3、十字缩小为0.5倍大小为基础,分为5个子集,分别作如下变化:

(1) 增大噪声水平为0.05、0.1、0.2;

(2) 增大模糊卷积核为5×5、7×7、9×9;

(3) 减小缩放倍率为0.25、0.125、0.0625;

(4) 缩放倍率为1倍,并将十字位置挪至边缘;

(5) 图像边缘增加亮色块,并逐渐降低十字部分的亮度为最高亮度的60%、30%、10%、5%。

其中,第(4)项将缩放倍率还原为1倍,对于待测算法中的模板匹配类型,增大模板数据量以提升算法运行效率;同时十字挪到边缘,模拟实际生产过程中十字不完整的情况。第(5)项模拟复杂背景中亮块导致红外设备曝光度下降的情况,通过测试环境的劣化来检验算法的优劣。

图5是部分代表性测试图片。

(a)  

(b)  

(c)  

(d)  

(e)  

(f)  

图5 典型红外测试集图片:(a) 普通十字图像;(b)噪声增强图像;(c)模糊增强图像;(d)缩小十字图像;(e)放大不完整图像;(f)亮块背景图像;

Fig.5 Typical Infrared Test Pictures:(a) Normal cross image; (b) noise-enhanced image; (c) blur-enhanced image; (d) reduced cross image; (e) enlarged incomplete image; (f) bright block background image;

2.3 本文算法结果

以仿真图片测试为例,以下是本文算法处理时,各步骤后结果。为直观体现算法作用,卷积结果与插值过程以三维网格图形显示。

图6所示,首先对待测原图进行二值化和下采样处理,并在预处理图上进行金字塔高层卷积定位。将定位结果映射回原图,在初始定位中心u0,v0附近提取ROI,并进行金字塔低层匹配。最后,对卷积结果u1,v1的顶点近邻区域进行超分辨率插值,获取校正的精确十字中心坐标u2,v2

图6  本文算法结果图示

Fig.6  The results of the algorithm in this paper are illustrated

2.4 对比实验结果

从抗噪能力、抗模糊能力、小目标检测能力等方面对以上算法进行测试。实验设计检测100张随机噪声的测试图中各算法的检出数量,获取检出率;剔除误检部分后计算平均误差与标准差,以判断算法的准确率与抗噪声能力;同时记录运算时间,检测算法运行效率。

表1  四种算法对以上测试集的检验结果
Table 1  The test results of the four algorithms on the above test set
CCORRNCCHough本文方法
噪声 检出率 100% 100% 100% 100%
误差(px) -0.45 -0.5 -0.5 -0.01
标准差( px) 0.224 0.324 0.649 0.045
模糊 检出率 100% 100% 100% 100%
误差(px) -0.35 -0.55 -0.4 0
标准差(px) 0.366 0.224 0.447 0
小目标 检出率 100% 100% 75% 100%
误差(px) -0.5 -0.5 -0.303 0.005
标准差(px) 0 0 0.416 0.022
边缘 检出率 0% 100% 100% 100%
误差(px) -0.5 -0.5 -0.62
标准差(px) 0 0 0.062
亮块 检出率 0% 25% 0% 100%
误差(px) -2.5 -0.015
标准差(px) 0 0.118
总计耗时(s) 45.665 30.860 5.575 9.298

检验结果显示,本文方法在多种情况下的平均误差与标准差较小,即算法的准确度与稳定性优于其他三种方法;同时在十字越出图片外和背景存在亮色块的情况下,检测能力更强。在测试的100张图片中,本文方法的检出率为100%,精度在亚像素级。

实验中,本文方法的最大误差存在于目标显示不全且处于视场边缘的特殊情况,以目标直径1024px计算,相对误差约为0.605‰。在类似的定位场景中,YOLO等深度学习目标检测算法也能达到99.0%以上的检出率,且有对噪声、目标形状细节不敏感的优点,但是其需要大量训练集支持,同时定位精度不如传统算法,换算后的实际定位相对误差在5.16%以

14,不适用于高精度红外热成像仪的工业生产测试。

CCORR与NCC方法存在固定方向约0.5像素的误差。若模板的十字中心不严格处于该图像中心的像素点位置,互相关运算会使匹配结果产生亚像素级的系统误差:例如当模板图片长宽为偶数时,十字中心处于图像中间两像素的中点(即实验中的640.5与512.5),匹配算法会默认将左上方的最近邻像素视为匹配中心。这类亚像素级的偏差未被广泛关注,本文算法通过自行构建模板,在构建环节进行补偿,解决了引入互相关或卷积算法带来的精度损失。

2.5 信噪比实验

针对模板匹配算法,对实验结果进一步分析,引入红外小目标检测中的信噪比(SCR

15,通过获取各算法结果中背景的灰度变化,以评估各算法对复杂背景的敏感程度和目标增强的显著性。定义RSC如下:

RSC=(GMT-GMB)/δB , (7)

其中,GMT为目标区域的平均灰度,GMB为目标附近局部区域的平均灰度,δB为局部区域的标准差。RSC值与算法在当前测试条件下的背景抑制能力成正比。

对四种十字亮度分别为60%、30%、10%、5%的测试图进行算法滤波,实验结果如下图7所示。

图7  各算法滤波效果对比

Fig.7  Comparison of the filtering effect of each algorithm

对以上实验结果进行汇总(见表2),传统的CCORR、NCC模板匹配算法在背景亮度较高时存在局限性,而本文算法结合了二值化预处理与金字塔模板匹配,对目标与背景亮度比例不敏感,适用范围更广。

表2  4种不同十字亮度下的信噪比实验结果
Table 2  Experimental results of SCR at 4 different cross brightnesses
十字亮度原图CCORRNCC本文方法
60% 0.951 0.086 7.447 3.494
30% 0.009 -0.329 3.601 3.548
10% -0.233 -0.363 1.723 3.772
5% -0.316 -0.439 0.994 3.518

3 结论

本文提出了一种适用于红外热成像仪标定测试的十字中心定位算法。该算法通过构造具有靶标图像特征的归一化模板,在下采样与预处理后的目标图像上移动模板进行匹配,并引入金字塔模板匹配原理,提高了计算速度,使其兼具模板匹配与亚像素细分算法的高精度特性,对边缘模糊、噪声影响的特殊十字靶标图像具有很好的检测效果,且稳定性较强、准确性高、检测时间短。

利用该算法对远距离模糊、边缘特征不明显等情况的靶标图像进行检测。实验结果表明,与传统的CCORR 、NCC和Hough变换方法相比较,本文提出的基于改进模板匹配的红外热成像仪靶标中心定位算法能有效避免亮色背景对定位的干扰,在鲁棒性方面有较大的优势,适用于靶标模糊、遮挡、背景复杂或特征不明显的情况。本文算法可通过OpenCV库移植至其他平台,能够很好地满足红外热成像仪测试的靶标中心实时定位需求。进一步的研究表明,可以通过自适应方法完成自动模板构建,简化定位前期的工作。

References

1

Han Jin-huiWei Yan-taoet al. Infrared dim and small target detection: A review [J]. Infrared and Laser Engineering(韩金辉,魏艳涛,。红外弱小目标检测方法综述。红外与激光工程), 20225120210393. [百度学术] 

2

Wang Xue-minYu Hong-boZhang Xiang-yuet al. Underwater Multi-target Detection Method Based on Hough Transform Track-before-detect Technique [J]. Acta Armamentarii(王学敏,于洪波,张翔宇,。基于Hough变换检测前跟踪的水下多目标被动检测方法。兵工学报), 20234407): 2114-2121. [百度学术] 

3

Zhao FangZhang XiaoYang Li-binet al. Cross Line Detection Algorithm Based on Discrete Hough Transform [J]. Ship Electronic Engineering(赵芳,张骁,杨利斌,。基于离散霍夫变换的十字线检测算法。舰船电子工程), 20204001): 37-39, 77. [百度学术] 

4

Liu Rui-mingGong Cheng-longJiang Qiet al. Eye localization in face image based on a novel template matching method [J]. Optical Engineering201251027203. [百度学术] 

5

Liu YuLiu Shu-pingWang Zeng-fu. Multi-focus image fusion with dense SIFT [J]. Information Fusion201523139-155. [百度学术] 

6

Lian Zhi-wenLiu YiZhang Quan. Research on Algorithm of Center Positioning for Automatic Refractometer Target Ring [J]. Journal of North University of China(Natural Science Edition)(廉治文,刘祎,张权。全自动验光仪靶环中心定位算法研究。中北大学学报(自然科学版)), 20224306): 548-553. [百度学术] 

7

Yu XiangFei Xue-ning. Target image matching algorithm based on pyramid model and higher moments [J]. Journal of Computational Science201721189-194. [百度学术] 

8

Chen Li-fangLiu YuanXu Wen-boet al. Improved normalized correlation method of gray image template matching method [J]. Computer Engineering and Applications(陈丽芳,刘渊,须文波,。基于离散霍夫变换的十字线检测算法。计算机工程与应用)20114726): 181-183. [百度学术] 

9

Ding ZheWu Guo-junWu Ya-fenget al. Measurement of underwater camera imaging resolution using underwater collimator [J]. Infrared and Laser Engineering(丁喆,吴国俊,吴亚风,。利用水下平行光管测量水下相机成像分辨率。红外与激光工程), 20235202): 408-413. [百度学术] 

10

Yang Chang-pengXu KanXue Lianget al. Temperature control technology for extra large surface blackbody based on two-phase fluid [J]. Infrared and Laser Engineering(杨昌鹏,徐侃,薛亮,。基于两相流体的超大面源黑体控温技术。红外与激光工程), 20225112): 98-106. [百度学术] 

11

Liu Si-danZhuo YongShi Zhe-yanet al. Improved template matching pyramid search algorithm [J]. Laser Journal(刘思丹,卓勇,施哲彦,。改进的模板匹配金字塔搜索算法。激光杂志), 20234401): 42-47. [百度学术] 

12

Nascimento VLaroca RLambert J Aet al. Super-resolution of license plate images using attention modules and sub-pixel convolution layers [J]. Computers & Graphics, 202311369-76. [百度学术] 

13

Esmaeilzehi AAhmad M OSwamy M N S. MuRNet: A deep recursive network for super resolution of bicubically interpolated images [J]. Signal Processing: Image Communication202194116228. [百度学术] 

14

Shi Wei-minHan Si-jieTu Jia-jiaet al. Empty yarn bobbin positioning method based on machine vision [J]. Journal of Textile Research(史伟民,韩思捷,屠佳佳,。基于机器视觉的空纱筒口定位方法。纺织学报), 20234411): 105-112. [百度学术] 

15

Wang KunJiang De-fuYun Li-junet al. The infrared point target detection algorithm based on modified random walker and non-convex rank approximation minimization under the complex background [J]. Journal of Infrared and Millimeter Waves(王坤,蒋德富,云利军,。基于改进随机漫步者非凸秩逼近最小化的复杂背景下红外点目标检测方法研究。红外与毫米波学报), 20234204): 546-557. [百度学术]