摘要
靶标中心定位是红外热成像仪标定过程中的关键技术。针对靶标形貌相对复杂的特点,提出了一种基于自构卷积核改进模板匹配的中心定位算法。算法首先通过构造具有靶标图像特征的归一化模板,在下采样与预处理的目标图像上移动模板进行匹配运算,得到粗定位结果;根据粗定位中心对原图进行ROI精细匹配,并通过亚像素细分算法进一步校正,最终确定准确的靶标中心位置。利用该算法对模拟的劣化环境下靶标图像进行检测,能有效避免模糊、背景复杂、目标不完整或者特征不明显的情况对定位的干扰,具有较好的鲁棒性,能够准确地定位靶标中心,且运算速度快,与CCORR、NCC等传统模板匹配和Hough变换相比有较大的提升,可以满足红外热成像仪自动标定过程中的定位需求。
在红外热成像仪投放市场前,需进行整机测试以验证其稳定性和可靠性。光学系统部分需标定热成像仪的视场角、焦距等参数,通常使用固定形状(如十字形)的黑体作为靶标,将热成像仪放置在自动化转台上,通过转动转台控制黑体靶标在视场内移动,并调节热成像仪的焦距和放大倍数,以改变靶标在视场内的大小。通过图像处理方法找到十字靶标的位置并求取其中心像素坐标,是红外热成像仪自动化标定和检验过程中的关键技术。
红外目标检测领域常用的单帧图像处理算法可以分为图像局部处理方法与图像整体处理方
现有的图像中心定位算法中有基于边缘检测与形态拟合的方法,主要用于类圆形中心定
对于相对复杂形貌的目标中心定位,模板匹配算法更为适用。模板匹配根据实际的目标图像构建模板,在待处理图像上进行全图移动窗匹配,将匹配程度最高的点视为原图中
针对靶标图像相对复杂、靶标特征明显的特点,本文提出了一种基于自构建卷积核的改进模板匹配算法。该算法进行红外十字靶标的中心定位,可以有效避免模糊与噪声对定位的干扰,精准定位靶标中心,解决了传统Hough变换无法定位复杂目标的问题,与普通互相关匹配(CCORR)算法相比具有更好的鲁棒性,相对归一化互相关(NCC)模板匹配运算速度更快,与You Only Look Once(YOLO)等深度学习框架相比,不需要大量训练集支持,能够满足红外热成像仪自动标定过程中的定位需求。
本文根据靶标的形态学特征构建归一化模板矩阵,并在匹配同时对图像进行卷积滤波,以去除大范围亮色背景的影响,并根据图像局部与模板的匹配程度判断目标的大致位置。
应对目标灰度值过低的情况,预处理阶段加入二值化,同时利用金字塔模板匹

图1 改进模板匹配算法流程图
Fig.1 Flowchart of the improved template matching algorithm
本文通过构造模板在整幅图像上进行匹配,并依据卷积结果实现靶标中心的实时检测。模板的构造是匹配的关键,其准确度直接影响中心定位的精度。用于匹配运算的模板是一个浮点数方阵,映射在灰度域上则显示为与十字靶标相似的图像,十字中心对应方阵中心坐标的像素。构造模板时需考虑十字靶标的形态、方阵内数值的选取、旋转缩放等后处理流程。

(a)

(b)
图2 两种典型红外十字靶标:(a) 十字中嵌套十字;(b)十字中嵌套圆点
Fig.2 Two Typical Infrared Cross Targets:(a) Nested crosses in a cross; (b) nested dots in a cross
使用本文方法构造模板时,根据靶标的尺寸信息及其在实拍图像中占的像素数量,生成一个相似的方形矩阵Kernal。该矩阵由浮点型数据构成,在原图上进行逐像素匹配:计算其与对应的图像块Block的内积结果,并以步长1进行滑动,遍历整幅靶标图像。所有坐标的结果构成一个结果矩阵Result。定义为:
, | (1) |
由于卷积过程是相关匹配行为,结果值最大的位置表明模板与图片中的十字靶标匹配度高。遍历该矩阵的值,最大值的坐标即为粗定位的靶标中心位置。
相关算法的模板匹配有误判大范围亮色图块的问题:当元素值非负时,卷积结果与正相关,而不完全与形状正相关。这导致匹配的图块亮度越高,得分也越高,因此需要在匹配过程中滤除。不同于NCC对运算结果归一
(1)根据靶标的尺寸构造有符号浮点数方阵Kernal,并将暗色位置的元素值置为-1;
(2)为保证卷积结果与原图的平均亮度一致,应使模板方阵全部元素之和为0,即亮色位置元素置为归一化阈值。的选取由下式确定:
, | (2) |
式中,,为背景部分对应位置的矩阵元素值,,为十字部分对应位置的矩阵元素值,且,为整体模板各点灰度值的集合。在卷积核图像中,根据亮色部分与暗色部分的面积关系,同样可以获得th的值,计算方法为:
, | (3) |
, | (4) |
式中,为卷积核图像十字部分面积,为卷积核图像背景部分面积。对同一种十字靶标,以上图像面积的比例关系视为已知。
(3)将模板方阵归一化到[-1,1]区间,方阵元素当前最大值为,最小值为-1,因此新的方阵元素逐次进行如下计算:
, | (5) |
式中,是Kernal在点的方阵元素值,是该点归一化后的元素值。
应用归一化模板后,单图块卷积结果公式为:
, | (6) |
在十字中心定位问题中,目标的形变往往是匹配中的难点。得益于平行光管的引入,十字基本不存在垂直与水平方向上的倾斜形
模板匹配的结果矩阵类似将原图以卷积核为窗的滤波结果。如

(a)

(b)

(c)
图3 十字偏斜导致定位偏差示意图:(a) 小型偏斜十字,卷积核未校正;(b)大型偏斜十字,卷积核未校正;(c)大型偏斜十字,卷积核校正;
Fig.3 Schematic diagram of positioning deviation due to cross deflection:(a) Small deflected cross with uncorrected kernel; (b) large deflected cross with uncorrected kernel; (c) large deflected cross with corrected kernel
为了避免更改原图导致十字位置变化,可直接对卷积核进行仿射变换,使其角度与原图相近,如
金字塔匹配基于卷积模板匹配,通过对原图像与卷积核Kernal分别进行梯次下采样,生成二者的低分辨率图像集合,并分别进行匹配。每个集合的图像来源于同一张原始图,且分辨率逐层降低,呈现类金字塔形状,层级越高,则图像越小。
金字塔匹配的目标是在不同分辨率的图像金字塔中寻找匹配,从而显著提高匹配速

图4 金字塔模板匹配
Fig.4 Pyramid Template Matching
本文算法结合了二值化预处理与金字塔结构,首先用二值化将原图像中的背景与其余部分(十字、大块亮色与噪声)区分开,进行下采样后,与同样缩小的模板进行初步塔尖匹配,通过卷积滤波效应滤除噪声;同时在自构卷积核中负权重的作用下,大块亮色背景的得分仅为目标的一半,使目标在结果矩阵上表现为一个明显的尖峰,最高点即是此次匹配得到的初定位中心。将映射回原图,截取比模板略大的ROI区域并再次匹配,可以在较低运算量下准确获得十字中心位置。
为了进一步提高定位的准确性,采用超分辨率方法对定位结果进行校正。以定位坐标为中心,在原图中截取图像块进行插值。图像在十字中心梯度变化较小,意味着最大值对应的卷积位置匹配度更高,但不一定完全符合十字中心。因此使用亚像素细分算法进行插值,重新寻找最高点,并根据位置的映射关系对十字中心位置进行校正。
常见的亚像素细分算法有:最邻近插值(Nearest)、双线性插值(Bilinear)、双三次插值(BiCubic),以及基于机器学习的亚像素细分算法
双三次插值算法利用周围16个像素的灰度值进行加权平均,以推断出每个子像素的灰度值,可以获得更平滑的图像细节,对于像素之间的复杂关系考虑更全
基于金字塔匹配降低了计算量,待插值像素数量较少的条件,可采用效果较好的双三次插值算法,以获得更平滑的插值结果和更准确的中心像素坐标。以插值间隔数量为10为例,两点之间插入9个亚像素,可在亚像素级对中心坐标进行补偿校正。
本文算法采用金字塔模板匹配结构,在高层级进行二值化等预处理以增强背景抑制;在低层级进行ROI提取和卷积匹配以提高运算速率;最后对卷积结果进行超分辨率插值,将中心定位精度扩展至亚像素级,实现了十字靶标中心的快速准确定位。
本文将所述算法与传统Hough变换、CCORR模板匹配、NCC模板匹配进行对比,算法检验在Windows平台的Matlab R2021b进行。
红外图像通常对比度低、分辨率差、信噪比低,视觉效果模糊,这些问题会影响图像的清晰度和可用性。因此实验构造多张中心位置已知的十字图片,进行旋转缩放、添加噪声、增加不规则亮暗色块、调整亮度与对比度、平滑滤波等处理,在不改变待测目标十字中心的前提下模拟不同红外热成像仪显示的图像,分别使用上述四种算法进行中心定位,并与已知的真值比较,获得其准确率与算法效率。
待测算法中,互相关模板匹配与归一化模板匹配不基于自构模板,因此实验中采用的模板均从待测图像中手动截取。
常用的边缘检测+Hough变换的方案无法准确识别此类较为复杂的十字形貌,实验中采用了二值化+膨胀腐蚀+脊线提取+Hough变换的方法,将目标十字细化为若干条线段后进行Hough直线提取。
待测图片均采用红外HD规格,分辨率为1 280×1 024;十字中心真值为(640.5,512.5)。为保证十字图像在0.5倍、0.25倍、0.125倍缩放后中心位置不变且锐利可观,设置十字形状规格为:中心十字由两个32*8的矩形构成,外围十字由四个384×64的矩形构成。
将100张测试集图片,以噪声水平0.01、模糊卷积核3×3、十字缩小为0.5倍大小为基础,分为5个子集,分别作如下变化:
(1) 增大噪声水平为0.05、0.1、0.2;
(2) 增大模糊卷积核为5×5、7×7、9×9;
(3) 减小缩放倍率为0.25、0.125、0.0625;
(4) 缩放倍率为1倍,并将十字位置挪至边缘;
(5) 图像边缘增加亮色块,并逐渐降低十字部分的亮度为最高亮度的60%、30%、10%、5%。
其中,第(4)项将缩放倍率还原为1倍,对于待测算法中的模板匹配类型,增大模板数据量以提升算法运行效率;同时十字挪到边缘,模拟实际生产过程中十字不完整的情况。第(5)项模拟复杂背景中亮块导致红外设备曝光度下降的情况,通过测试环境的劣化来检验算法的优劣。

(a)

(b)

(c)

(d)

(e)

(f)
图5 典型红外测试集图片:(a) 普通十字图像;(b)噪声增强图像;(c)模糊增强图像;(d)缩小十字图像;(e)放大不完整图像;(f)亮块背景图像;
Fig.5 Typical Infrared Test Pictures:(a) Normal cross image; (b) noise-enhanced image; (c) blur-enhanced image; (d) reduced cross image; (e) enlarged incomplete image; (f) bright block background image;
以仿真图片测试为例,以下是本文算法处理时,各步骤后结果。为直观体现算法作用,卷积结果与插值过程以三维网格图形显示。
如

图6 本文算法结果图示
Fig.6 The results of the algorithm in this paper are illustrated
从抗噪能力、抗模糊能力、小目标检测能力等方面对以上算法进行测试。实验设计检测100张随机噪声的测试图中各算法的检出数量,获取检出率;剔除误检部分后计算平均误差与标准差,以判断算法的准确率与抗噪声能力;同时记录运算时间,检测算法运行效率。
CCORR | NCC | Hough | 本文方法 | ||
---|---|---|---|---|---|
噪声 | 检出率 | 100% | 100% | 100% | 100% |
误差(px) | -0.45 | -0.5 | -0.5 | -0.01 | |
标准差( px) | 0.224 | 0.324 | 0.649 | 0.045 | |
模糊 | 检出率 | 100% | 100% | 100% | 100% |
误差(px) | -0.35 | -0.55 | -0.4 | 0 | |
标准差(px) | 0.366 | 0.224 | 0.447 | 0 | |
小目标 | 检出率 | 100% | 100% | 75% | 100% |
误差(px) | -0.5 | -0.5 | -0.303 | 0.005 | |
标准差(px) | 0 | 0 | 0.416 | 0.022 | |
边缘 | 检出率 | 0% | 100% | 100% | 100% |
误差(px) | — | -0.5 | -0.5 | -0.62 | |
标准差(px) | — | 0 | 0 | 0.062 | |
亮块 | 检出率 | 0% | 25% | 0% | 100% |
误差(px) | — | -2.5 | — | -0.015 | |
标准差(px) | — | 0 | — | 0.118 | |
总计耗时(s) | 45.665 | 30.860 | 5.575 | 9.298 |
检验结果显示,本文方法在多种情况下的平均误差与标准差较小,即算法的准确度与稳定性优于其他三种方法;同时在十字越出图片外和背景存在亮色块的情况下,检测能力更强。在测试的100张图片中,本文方法的检出率为100%,精度在亚像素级。
实验中,本文方法的最大误差存在于目标显示不全且处于视场边缘的特殊情况,以目标直径1024px计算,相对误差约为0.605‰。在类似的定位场景中,YOLO等深度学习目标检测算法也能达到99.0%以上的检出率,且有对噪声、目标形状细节不敏感的优点,但是其需要大量训练集支持,同时定位精度不如传统算法,换算后的实际定位相对误差在5.16%以
CCORR与NCC方法存在固定方向约0.5像素的误差。若模板的十字中心不严格处于该图像中心的像素点位置,互相关运算会使匹配结果产生亚像素级的系统误差:例如当模板图片长宽为偶数时,十字中心处于图像中间两像素的中点(即实验中的640.5与512.5),匹配算法会默认将左上方的最近邻像素视为匹配中心。这类亚像素级的偏差未被广泛关注,本文算法通过自行构建模板,在构建环节进行补偿,解决了引入互相关或卷积算法带来的精度损失。
针对模板匹配算法,对实验结果进一步分析,引入红外小目标检测中的信噪比(SCR
, | (7) |
其中,为目标区域的平均灰度,为目标附近局部区域的平均灰度,为局部区域的标准差。值与算法在当前测试条件下的背景抑制能力成正比。
对四种十字亮度分别为60%、30%、10%、5%的测试图进行算法滤波,实验结果如下

图7 各算法滤波效果对比
Fig.7 Comparison of the filtering effect of each algorithm
对以上实验结果进行汇总(见
十字亮度 | 原图 | CCORR | NCC | 本文方法 |
---|---|---|---|---|
60% | 0.951 | 0.086 | 7.447 | 3.494 |
30% | 0.009 | -0.329 | 3.601 | 3.548 |
10% | -0.233 | -0.363 | 1.723 | 3.772 |
5% | -0.316 | -0.439 | 0.994 | 3.518 |
本文提出了一种适用于红外热成像仪标定测试的十字中心定位算法。该算法通过构造具有靶标图像特征的归一化模板,在下采样与预处理后的目标图像上移动模板进行匹配,并引入金字塔模板匹配原理,提高了计算速度,使其兼具模板匹配与亚像素细分算法的高精度特性,对边缘模糊、噪声影响的特殊十字靶标图像具有很好的检测效果,且稳定性较强、准确性高、检测时间短。
利用该算法对远距离模糊、边缘特征不明显等情况的靶标图像进行检测。实验结果表明,与传统的CCORR 、NCC和Hough变换方法相比较,本文提出的基于改进模板匹配的红外热成像仪靶标中心定位算法能有效避免亮色背景对定位的干扰,在鲁棒性方面有较大的优势,适用于靶标模糊、遮挡、背景复杂或特征不明显的情况。本文算法可通过OpenCV库移植至其他平台,能够很好地满足红外热成像仪测试的靶标中心实时定位需求。进一步的研究表明,可以通过自适应方法完成自动模板构建,简化定位前期的工作。
References
Han Jin-hui, Wei Yan-tao, et al. Infrared dim and small target detection: A review [J]. Infrared and Laser Engineering(韩金辉,魏艳涛,等。红外弱小目标检测方法综述。红外与激光工程), 2022, 51: 20210393. [百度学术]
Wang Xue-min, Yu Hong-bo, Zhang Xiang-yu, et al. Underwater Multi-target Detection Method Based on Hough Transform Track-before-detect Technique [J]. Acta Armamentarii(王学敏,于洪波,张翔宇,等。基于Hough变换检测前跟踪的水下多目标被动检测方法。兵工学报), 2023, 44(07): 2114-2121. [百度学术]
Zhao Fang, Zhang Xiao, Yang Li-bin, et al. Cross Line Detection Algorithm Based on Discrete Hough Transform [J]. Ship Electronic Engineering(赵芳,张骁,杨利斌,等。基于离散霍夫变换的十字线检测算法。舰船电子工程), 2020, 40(01): 37-39, 77. [百度学术]
Liu Rui-ming, Gong Cheng-long, Jiang Qi, et al. Eye localization in face image based on a novel template matching method [J]. Optical Engineering, 2012, 51: 027203. [百度学术]
Liu Yu, Liu Shu-ping, Wang Zeng-fu. Multi-focus image fusion with dense SIFT [J]. Information Fusion, 2015, 23: 139-155. [百度学术]
Lian Zhi-wen, Liu Yi, Zhang Quan. Research on Algorithm of Center Positioning for Automatic Refractometer Target Ring [J]. Journal of North University of China(Natural Science Edition)(廉治文,刘祎,张权。全自动验光仪靶环中心定位算法研究。中北大学学报(自然科学版)), 2022, 43(06): 548-553. [百度学术]
Yu Xiang, Fei Xue-ning. Target image matching algorithm based on pyramid model and higher moments [J]. Journal of Computational Science, 2017, 21: 189-194. [百度学术]
Chen Li-fang, Liu Yuan, Xu Wen-bo, et al. Improved normalized correlation method of gray image template matching method [J]. Computer Engineering and Applications(陈丽芳,刘渊,须文波,等。基于离散霍夫变换的十字线检测算法。计算机工程与应用)2011, 47(26): 181-183. [百度学术]
Ding Zhe, Wu Guo-jun, Wu Ya-feng, et al. Measurement of underwater camera imaging resolution using underwater collimator [J]. Infrared and Laser Engineering(丁喆,吴国俊,吴亚风,等。利用水下平行光管测量水下相机成像分辨率。红外与激光工程), 2023, 52(02): 408-413. [百度学术]
Yang Chang-peng, Xu Kan, Xue Liang, et al. Temperature control technology for extra large surface blackbody based on two-phase fluid [J]. Infrared and Laser Engineering(杨昌鹏,徐侃,薛亮,等。基于两相流体的超大面源黑体控温技术。红外与激光工程), 2022, 51(12): 98-106. [百度学术]
Liu Si-dan, Zhuo Yong, Shi Zhe-yan, et al. Improved template matching pyramid search algorithm [J]. Laser Journal(刘思丹,卓勇,施哲彦,等。改进的模板匹配金字塔搜索算法。激光杂志), 2023, 44(01): 42-47. [百度学术]
Nascimento V, Laroca R, Lambert J A, et al. Super-resolution of license plate images using attention modules and sub-pixel convolution layers [J]. Computers &; Graphics, 2023, 113: 69-76. [百度学术]
Esmaeilzehi A, Ahmad M O, Swamy M N S. MuRNet: A deep recursive network for super resolution of bicubically interpolated images [J]. Signal Processing: Image Communication, 2021, 94: 116228. [百度学术]
Shi Wei-min, Han Si-jie, Tu Jia-jia, et al. Empty yarn bobbin positioning method based on machine vision [J]. Journal of Textile Research(史伟民,韩思捷,屠佳佳,等。基于机器视觉的空纱筒口定位方法。纺织学报), 2023, 44(11): 105-112. [百度学术]
Wang Kun, Jiang De-fu, Yun Li-jun, et al. The infrared point target detection algorithm based on modified random walker and non-convex rank approximation minimization under the complex background [J]. Journal of Infrared and Millimeter Waves(王坤,蒋德富,云利军,等。基于改进随机漫步者非凸秩逼近最小化的复杂背景下红外点目标检测方法研究。红外与毫米波学报), 2023, 42(04): 546-557. [百度学术]