网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于场景偏振冗余估计的非均匀校正  PDF

  • 汪德棠 1,2
  • 任志刚 3
  • 刘莎 4
  • 赵永强 1,2
  • 方辉 5
  • 张连东 5
1. 西北工业大学 深圳研究院,广东 深圳 518057; 2. 西北工业大学 自动化学院,陕西 西安 710072; 3. 西安建筑科技大学 机电工程学院,陕西 西安 710075; 4. 上海航天技术研究院,上海,201109; 5. 北方广微科技有限公司,陕西 西安 710072

中图分类号: TN215

最近更新:2021-12-31

DOI:10.11972/j.issn.1001-9014.2021.06.024

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

由于红外偏振焦平面的异构特性,在非均匀校正过程中需要考虑不同检偏通道的响应差异对整体校正效果的影响,其非均匀校正问题相较同构的普通红外焦平面更为复杂。针对红外偏振焦平面的非均匀校正问题,提出了一种基于场景偏振冗余估计的非均匀校正算法,通过对场景图像和由场景图像计算得到的偏振冗余估计图像进行统计,得到整个焦平面上所有像元响应在统计特性上的差异,然后分通道从两个方向对这些差异进行比较分析,得到更新后的增益校正系数,再通过辐射重定标抑制由于静止场景所造成的鬼影,得到当前状态下相机的增益校正系数。在这个过程中,通过偏振冗余估计评价之前的校正系数,自适应地实现增益校正系数的更新。最后使用真实场景数据进行测试,结果表明本文所提出的非均匀校正算法有效提高了所获取偏振图像的准确性。

引言

红外偏振图像能更好地反映目标的纹理特

1-2,在伪装目标识3、三维重4、道路检5和视频跟6等领域具有很大的应用潜力。相较于分7、分振8、分孔径9红外偏振成像系统,分焦平面式红外偏振相机具有实时性高、体积小、结构紧凑等优10-11,可用于快速变化目标的红外偏振成像。因为在常规红外焦平面基础上覆盖了一层微偏振片阵列,将同构的红外焦平面变成异构的红外偏振焦平面,分焦平面式红外偏振相机存在更为严重的非均匀性问12

红外偏振焦平面的非均匀性问题,严重影响成像质量和对偏振信息的探测,因此有必要对其非均匀性进行校正。刘等提出一种矩阵形式的偏振焦平面非均匀校正方

13,该方法直接对Stokes矢量进行校正,在Stokes矢量的均匀性有一定提升。F.Huang等从线偏振片的穆勒矩阵出发,提出一种与偏振片透过率相关的线偏振度计算方14,以此对线偏振度图像进行校正。现有方法主要关注红外偏振焦平面的基于定标的非均匀校正方法,基于定标的方法使用固定的校正参数对红外偏振焦平面的非均匀性进行校正,当像元的像应特性发生漂移时,校正效果将变差,这时就需要基于场景的非均匀校正方法,由于红外偏振焦平面的异构特性,红外焦平面的基于场景的非均匀校正方法无法直接使用。基于场景的非均匀校正分为两大类,一类是基于配准的非均匀校正,这类算法通过配准前后帧,比较不同像元对同一场景的响应差异来进行校正,校正速度快,但比较依赖高精度的配准算法,校正效果波动较15;Black等提出了一种适用于红外偏振焦平面的基于配准的非均匀校正算16,通过场景消除去除静止场景以提高非均匀校正效果。另一类是基于统计的非均匀校正,这类算法通过统计大量场景数据,比较邻近像元在一段时间内的响应统计差异来进行校正,校正速度较慢但更为稳定;目前尚无适用于红外偏振焦平面的基于统计的非均匀校正方法。本文提出一种基于场景偏振冗余估计的非均匀校正算法,利用红外偏振焦平面偏振冗余的特性,对相机工作时采集的场景信息进行统计,更新像元增益校正系数,实时地对红外偏振焦平面进行非均匀校正。

1 红外偏振焦平面像元响应的统计特性

红外焦平面的非均匀校正算法不能直接运用在红外偏振焦平面上,因为红外偏振焦平面是一种异构焦平面。如图1所示(以西北工业大学与北方广微合作研制的红外偏振焦平面GWPL为例),其上像元的8邻域内不存在与其检偏方向相同的像元,即不存在同构像元。

图1 焦平面部分像元检偏方向

Fig. 1 Partial pixel polarization direction of focal plane

以0°偏振光照射为例,在检偏方向为0°的像元的8邻域内剩余三个通道的像元响应随时间变化如图2(a)所示,可以看到,四者的均值完全不同,其中0°检偏像元的均值最大,45°和135°检偏像元的均值次之,二者的差别来源于通道间和像元间的非均匀性,90°检偏像元的最小。因此无法像普通红外焦平面的非均匀校正算法一样对整个焦平面进行处理,需要将四个检偏通道分开,对每个偏振通道分别进行处理。

图2 通道响应变化

Fig. 2 Response variation of the channels

将偏振通道分开后,以检偏方向为0°的通道上的像元的8邻域为例,如图2(b)所示,可以看到,红外偏振焦平面上的像元的响应变化重新获得了与红外焦平面上的像元相同的统计特性。

2 校正方法

GWPL红外偏振焦平面内置带挡板,采用带挡板的两点校正算法,如式(1)

y=kx-x0 , (1)

其中,y为校正后的像元响应,x为校正前的像元响应,k为像元的增益校正系数,x0为相机在挡板关闭时采集得到的挡板数据。在长时间的工作过程中,焦平面由于工作环境和自身温度波动、偏压不稳、噪声以及电磁干扰等因素,像元的响应特性发生漂移,导致相机内部储存的基于定标的非均匀校正算法得到的增益校正系数k无法继续使用。此时需根据场景实时更新k,即为

knew=Ai,j·kold , (2)

其中,knew为更新后增益校正系数,kold为更新前的增益校正系数,Ai,j为坐标为i,j的像元的增益校正调整系数。

采集长度为T的图像序列,将每一帧根据检偏通道分成4幅图像,分别为I0I45I90I135,称为检偏通道图像。理想条件同一空间位置四通道取值满足,

I0+I90=I45+I135 (3)

根据式(3)可以从其余三个通道中获取另一通道的估计值,该估计值在此称为偏振冗余估计图像。以每个检偏通道图像和其对应的偏振冗余估计图像为一对,得到4组图像序列对。整个构造过程如图3所示,

图3 图像序列对构造过程

Fig. 3 Image sequence pair construction process

使用图像序列对单个像元的随时间的响应根据大小进行排序,即如式(4),

y1,y2,,yTy˙1,y˙2,,y˙T , (4)

其中,y1,y2,,yT为未排序的像元序列,下标代表采集时间从先到后,y˙1,y˙2,,y˙T为经过排序的像元序列,下标代表响应值从小到大。通过排序,确保位于图像序列中间的图像的像元响应在整幅图像上更加一致,将极端的响应值移动到图像序列前部和尾部的图像上,再根据所选择的序列长度T,适当地舍去图像序列前部和尾部各σ1帧,得到新的图像序列T1,此时的图像序列T1可认为已能够较好地体现一定时间段内焦平面的响应特性。焦平面中心的点与焦平面上所有其他像元的平均距离最短,故而选择图像中心的点i0, j0作为参考点,将其余像元与参考点的统计特性的差异认为是非均匀性的体现。

虽然通过将每个像元与参考点进行比较能够直观地体现其增益校正系数的差别,但为了降低计算复杂度,本文采取经由参考点扩散到整个焦平面的方式进行比较。分别从横向(列方向)和纵向(行方向)进行比较,分别如图4(a)和(b),

图4 增益比传递方向 (a)横向(列方向),(b)纵向(行方向)

Fig. 4 Gain ratio transfer direction (a) Horizontal (column direction), (b) longitudinal (row direction)

以横向为例,将参考点所在的列设为参考列,从此列开始,对相邻列上相同位置的像元响应进行比较,遵循式(5),

γti,j=y˙i,j+1y˙i,jki,j+1ki,j,j<j0  1,                j=j0y˙i,j-1y˙i,jki,j-1ki,j,j>j0 , (5)

其中,γti,j为横向相邻像元的增益校正系数比值,ki,j为像元增益校正系数,经过这个操作,将像元响应中的场景辐射部分消去,只留下与相邻列像元间增益校正系数的比值。如此,得到增益校正系数比值的图像序列,长度仍为T1,再将这个图像序列按照γti,j的大小进行排序后,将新得到的图像序列的前部和尾部各σ2帧舍去,得到长度为T2的图像序列。由式(6)

γi,j=1T2t=1T2γti,j , (6)

其中,γi,j为增益校正系数比值沿图像序列长度的方向的均值,得到列平均增益比图像,这副图像上的每个点的值即为在该点的像元与同行靠近参考列一侧的邻近像元的增益比,将从该点沿行到参考列的所有点的值进行累乘,如式(7),

Γi,j=q=jj0γi,qki,j0ki,j,j<j0  1,                j=j0q=j0jγi,qki,j0ki,j,j>j0 , (7)

即可得到该点与参考列上相同位置的点的增益比,增益比传递路径如图4(a)所示。

以同样的方式对纵向进行比较,遵循式(8),

ηti,j=y˙i+1,jy˙i,jki+1,jki,j,i<i0  1,                i=i0y˙i-1,jy˙i,jki-1,jki,j,i>i0 , (8)

求得纵向相邻像元增益校正系数比值ηti,j后,由式(9),

ηi,j=1T2t=1T2ηti,j , (9)

得到行平均增益比,由式(10),

Γ=i,j=p=ii0ηp,jki0,jki,j,i<i01,                 i=i0p=i0iηp,jki0,jki,j,i>i0 , (10)

即可得到该点与参考行上相同位置的点的增益比,增益比传递路径如图4(b)所示。将参考行上该点同列的点与参考点的增益比Γi0,j和其与参考行上同列的点的增益比Γi,j=相乘,如式(11),

Γi,j=Γi0,j·Γi,j= , (11)

即可得到该点相对于参考点的增益比,以左上角某像元为例,其增益比传递路径如图5所示,

图5 焦平面上的增益比传递

Fig. 5 Gain ratio transfer on focal plane

若使用如图5中仅有一个拐角的增益比传递路径,则在横向增益比传递方向上可以只计算参考点所在的行上像元间的增益比,减少计算复杂度。

将上述对单个图像序列的操作应用于检偏通道图像序列和其对应的偏振冗余估计图像序列,得到增益比Γ1Γ2,经由式(12),

Γp=αΓ1+βΓ2 , (12)

得到偏振加权增益比Γp,其中α=β=0.5

尽管前文使用计算前后帧像元响应的差的平方的方式快速排除了大部分静止场景帧,防止其混入用来统计的图像序列,但是未能排除的静止场景帧和一些其他因素仍然会在增益比图像上造成鬼影,最终导致校正后图像上出现鬼影,为了抑制这个影响,对增益比矩阵进行辐射重定标,过程如下:

首先对本轮校正使用的图像序列取均值,得到均值图像F¯,使用增益比矩阵Γp对均值图像进行校正得到Fc。计算F¯Fc图像的低频特征图像F¯'Fc',由式(13),

H=F¯'Fc' , (13)

得到重定标参数H,通过重定标参数H调整增益比矩阵,如式(14),

A=H·Γp , (14)

得到最终的增益校正调整系数A。整个校正算法流程如图6所示。

图6 基于场景偏振冗余估计的非均匀校正算法流程图

Fig. 6 Flow chart of polarization redundancy estimation scene-based non-uniformity correction algorithm

3 实验结果与分析

对于本文提出的基于偏振冗余估计的场景非均匀校正算法的校正效果的评价,将以在多样的真实场景数据集中的实际表现和非均匀性评价公式相结合的方式进行。红外焦平面的非均匀性评价式不能直接用于红外偏振焦平面这种异构焦平面。因此,分通道地对校正前后图像的非均匀性进行评价,如式(15)式(16)

URθ=1Rθ¯1Mθ×Nθi=1Mθj=1NθRθi,j-Rθ¯2 , (15)
URall=UR0+UR45+UR90+UR1354 , (16)

其中URθ为单通道非均匀性,θ为该通道检偏方向,Rθ¯为单通道平均响应,Mθ为单通道内像元总行数,Nθ为单通道内像元总列数,Rθi,j为单通道内像元响应,而整个红外偏振焦平面的非均匀性 则使用四个检偏通道URθ的均值表示。

用来测试算法的数据集包含了200个真实场景图像序列,每个图像序列的长度均大于500帧,包含了天空、海洋、城市、乡村等场景,具有一定的代表性,涵盖了红外偏振焦平面的绝大多数使用场景。部分场景的红外偏振马赛克图像如图7所示。

图7 数据集部分场景

Fig. 7 Some scenes of dataset

对数据集内图像序列分别进行基于偏振冗余估计的场景非均匀校正,选取便于说明的图像帧对校正效果进行说明,并将本文方法与基于配准的适用于红外焦平面的IRLMS算法和适用于偏振焦平面的FiSC算法进行比较。

图8场景为在海面上航行的渔船,从红外偏振马赛克图像中可以看出,IRLMS由于没有考虑到红外偏振焦平面的异构特性,使得其将红外偏振马赛克图像不同检偏通道间的差异视为非均匀性,从而产生了错误的校正结果;FiSC和本文提出的方法通过对不同检偏通道分别处理,保持了红外偏振马赛克图像不同检偏通道间的差异。

图8 红外偏振马赛克图像 (a)未经场景校正, (b)IRLMS校正, (c)FiSC校正, (d)本文方法校正

Fig. 8 Infrared polarization mosaic image (a) Unscene corrected, (b) IRLMS corrected (c) FiSC corrected (d) our method correction

图9可以看出,FiSC方法和本文方法的结果中,渔船更为清晰可见,海面和天空的分界线更为清晰;IRLMS方法由于未能保持偏振特性,线偏振度图像质量严重下降,而FiSC方法虽然考虑了红外偏振焦平面的异构特性,但只是将不同检偏通道的图像进行分别处理,使得不同检偏通道间的相关性受到影响,使得左上角的天空中出现了错误的线偏振度,而本文方法通过偏振冗余估计对通道间的差异进行了约束,使得天空的线偏振度更为一致,且与海面的线偏振度差异更为明显。

图9 线偏振度图像 (a)未经场景校正 (b)IRLMS校正 (c)FiSC校正 (d)本文方法校正

Fig. 9 Degree of linear polarization image (a) Unscene corrected, (b) IRLMS corrected (c) FiSC corrected (d) our method correction

图10可以看出,FiSC方法和本文方法的结果中,海面和天空的分界线更为清晰。IRLMS方法的图像中渔船虽然看似更为明显,但在红外偏振马赛克图像中可以看出,红框中应为渔船头部,而IRLMS方法的图像中的渔船头部出现在了红框外,故IRLMS方法的图像中的渔船其实是错误校正结果造成的伪影。

图10 偏振角图像 (a)未经场景校正 (b)IRLMS校正 (c)FiSC校正 (d)本文方法校正

Fig. 10 Angle of polarization image (a) Unscene corrected, (b) IRLMS corrected (c) FiSC corrected (d) our method correction

在这个场景中,未经场景校正的红外偏振马赛克图像的非均匀性评价URall为0.544 1,本文方法校正结果的非均匀性评价URall为0.523 9。非均匀性有所下降。从不同非均匀校正方法的结果图像综合对比来看,本文方法在红外偏振马赛克图像、线偏振度和偏振角图像中,均取得了更好的校正效果。

图11为在山间公路行驶车辆的红外偏振马赛克图像、线偏振度图像和偏振角图像。其中,图11(a-b)为校正前后的红外偏振马赛克图像,图11(c-d)为校正前后的线偏振度图像,图11(e-f)为校正前后的偏振角图像。未经场景校正的红外偏振马赛克图像的非均匀性评价URall为0.657 9,本文方法校正结果的非均匀性评价URall为0.624 7。可以看到经过基于偏振冗余估计的场景非均匀校正后,在红外偏振强度图像上无法比较直观的看出差别,但放大之后可以看到,在车窗处相同通道的像元明显更为均匀;在线偏振度图像中,校正后的线偏振度图像在保持了车体边缘的不模糊的前提下,车身上由相同材质构成的区域(如车窗),像元的响应值更加一致,符合均匀像元间的响应规律,即面对相同材质、相同温度且处在相同场景下的物体,即使在不同的像元上均应产生相同的响应值。而噪点的明显减少,也将远处的山体变得更为清晰。在偏振角图像中,道路也更为均匀,噪点也明显减少。

图11 场景1

Fig. 11 Scene 1

图12为起飞中客机的红外偏振马赛克图像、线偏振度图像和偏振角图像。其中,图12 (a-b)为校正前后的红外偏振马赛克图像,图12(c-d)为校正前后的线偏振度图像,图12(e-f)为校正前后的偏振角图像。未经场景校正的红外偏振马赛克图像的非均匀性评价URall为0.234 4,本文方法校正结果的非均匀性评价URall为0.182 9。场景中含有天空、云层和飞远的客机。需要说明的是,对于没有云层的天空,可以认为其是较为均匀的,纯净的天空的强度图像和偏振图像应像黑体响应成像一样,在整个区域的范围内保持基本一致,如果某些像元的响应出现细微差异,可以认为这是非均匀性的体现。可以看到,在红外偏振马赛克图像的放大图中,校正后的图像更为均匀;同时校正后的线偏振度和偏振角图像中的天空更为均匀,噪点更少;且相比校正前,校正后的线偏振度和偏振角图像中客机更为明显。

图12 场景2

Fig. 12 Scene 2

从不同非均匀校正方法的结果图像和不同场景的结果图像综合来看,本文方法校正后图像的质量明显提高,噪点明显减少,场景中的物体更加清晰明显,因此可以认为,本文提出的基于场景偏振冗余估计的非均匀校正算法,对非均匀性漂移造成的偏振计算成像图像质量下降有较好的改善效果。

4 结论

本文针对红外偏振焦平面非均匀性漂移的问题,提出了一种基于偏振冗余估计的场景非均匀校正算法。通过对采集得到图像和偏振冗余估计得到的图像进行统计,得到整个焦平面上所有像元的响应在统计特性上的差异,然后分通道从两个方向对这些差异进行比较分析,得到更新后的增益校正系数,再通过辐射重定标抑制由于静止场景所造成的鬼影,得到当前状态下相机的增益校正系数。在这个过程中,通过偏振冗余估计评价之前的校正系数,自适应地实现增益校正系数的更新。实验结果表明本文方法对真实场景的强度图像及其偏振图像具有一定的校正效果,对偏振计算成像的图像质量有一定的提升。

References

1

Zhang YHan J TLi J Cet al. Characteristics analysis of infrared polarization for several typical artificial objects [J]. Image and Signal Processing for Remote Sensing XX. International Society for Optics and Photonics2014924492440I. 10.1117/12.2066834 [百度学术

2

Goudail FTyo J S. When is polarimetric imaging preferable to intensity imaging for target detection? [J]. JOSA A2011281):46-53. 10.1364/josaa.28.000046 [百度学术

3

Maeno KNagahara HShimada Aet al. Light field distortion feature for transparent object recognition [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition20132786-2793. 10.1109/cvpr.2013.359 [百度学术

4

Boyaci HDoerschner KSnyder J Let al. Surface color perception in three-dimensional scenes [J]. Visual Neuroscience2006233-4):311-321. 10.1017/s0952523806233431 [百度学术

5

Li NZhao YPan Qet al. Full-Time monocular road detection using zero-distribution prior of angle of polarization [C]. European Conference on Computer Vision. SpringerCham2020457-473. 10.1007/978-3-030-58595-2_28 [百度学术

6

Ratliff B MLeMaster D AMack R Tet al. Detection and tracking of RC model aircraft in LWIR microgrid polarimeter data [J]. Polarization Science and Remote Sensing V. International Society for Optics and Photonics20118160816002. 10.1117/12.894669 [百度学术

7

Harnett C KCraighead H G. Liquid-crystal micropolarizer array for polarization-difference imaging [J]. Applied optics2002417):1291-1296. 10.1364/ao.41.001291 [百度学术

8

Farlow C AChenault D BPezzaniti J Let al. Imaging polarimeter development and applications [J]. Polarization Analysis and Measurement IV. International Society for Optics and Photonics20024481118-125. 10.1117/12.452880 [百度学术

9

Tyo J S. Hybrid division of aperture/division of a focal-plane polarimeter for real-time polarization imagery without an instantaneous field-of-view error [J]. Optics Letters20063120):2984-2986. 10.1364/OL.31.002984 [百度学术

10

Perkins RGruev V. Signal-to-noise analysis of Stokes parameters in division of focal plane polarimeters [J]. Optics Express20101825):25815-25824. 10.1364/OE.18.025815 [百度学术

11

Hao JZhao YLiu Wet al. A micro-polarizer array configuration design method for division of focal plane imaging polarimeter [J]. IEEE Sensors Journal2020213):2828-2838. 10.1109/jsen.2020.3027030 [百度学术

12

Tyo J SGoldstein D LChenault D Bet al. Review of passive imaging polarimetry for remote sensing applications [J]. Applied optics20064522):5453-5469. 10.1364/ao.45.005453 [百度学术

13

LIU Hai-ZhengSHI Ze-LinFENG Bin. Mechanism and calibration of non-uniformity for IR polarization imagery obtained with integrated micro-polarizer array [J]. Optics and Precision Engineering(刘海峥, 史泽林, 冯斌. 微偏振片阵列红外成像非均匀性产生机理及其校正. 光学精密工程), 201826002):480-491. 10.3788/OPE.20182602.0480 [百度学术

14

Fei HLi F MChen W Cet al. Calibration method for division of focal plane polarimeters [J]. Applied optics20185718):4992-4996. 10.1364/ao.57.004992 [百度学术

15

Zuo CChen QGu Get al. Scene-based nonuniformity correction algorithm based on interframe registration [J]. JOSA A2011286):1164-1176. 10.1364/JOSAA.28.001164 [百度学术

16

Black W TTyo J S. Feedback-integrated scene cancellation scene-based nonuniformity correction algorithm [J]. Journal of Electronic Imaging2014232):023005. 10.1117/1.JEI.23.2.023005 [百度学术