摘要
由于红外偏振焦平面的异构特性,在非均匀校正过程中需要考虑不同检偏通道的响应差异对整体校正效果的影响,其非均匀校正问题相较同构的普通红外焦平面更为复杂。针对红外偏振焦平面的非均匀校正问题,提出了一种基于场景偏振冗余估计的非均匀校正算法,通过对场景图像和由场景图像计算得到的偏振冗余估计图像进行统计,得到整个焦平面上所有像元响应在统计特性上的差异,然后分通道从两个方向对这些差异进行比较分析,得到更新后的增益校正系数,再通过辐射重定标抑制由于静止场景所造成的鬼影,得到当前状态下相机的增益校正系数。在这个过程中,通过偏振冗余估计评价之前的校正系数,自适应地实现增益校正系数的更新。最后使用真实场景数据进行测试,结果表明本文所提出的非均匀校正算法有效提高了所获取偏振图像的准确性。
红外偏振图像能更好地反映目标的纹理特
红外偏振焦平面的非均匀性问题,严重影响成像质量和对偏振信息的探测,因此有必要对其非均匀性进行校正。刘等提出一种矩阵形式的偏振焦平面非均匀校正方
红外焦平面的非均匀校正算法不能直接运用在红外偏振焦平面上,因为红外偏振焦平面是一种异构焦平面。如

图1 焦平面部分像元检偏方向
Fig. 1 Partial pixel polarization direction of focal plane
以0°偏振光照射为例,在检偏方向为0°的像元的8邻域内剩余三个通道的像元响应随时间变化如

图2 通道响应变化
Fig. 2 Response variation of the channels
将偏振通道分开后,以检偏方向为0°的通道上的像元的8邻域为例,如
GWPL红外偏振焦平面内置带挡板,采用带挡板的两点校正算法,如
, | (1) |
其中,为校正后的像元响应,为校正前的像元响应,为像元的增益校正系数,为相机在挡板关闭时采集得到的挡板数据。在长时间的工作过程中,焦平面由于工作环境和自身温度波动、偏压不稳、噪声以及电磁干扰等因素,像元的响应特性发生漂移,导致相机内部储存的基于定标的非均匀校正算法得到的增益校正系数无法继续使用。此时需根据场景实时更新,即为
, | (2) |
其中,为更新后增益校正系数,为更新前的增益校正系数,为坐标为的像元的增益校正调整系数。
采集长度为的图像序列,将每一帧根据检偏通道分成4幅图像,分别为I0、I45、I90、I135,称为检偏通道图像。理想条件同一空间位置四通道取值满足,
, | (3) |
根据

图3 图像序列对构造过程
Fig. 3 Image sequence pair construction process
使用图像序列对单个像元的随时间的响应根据大小进行排序,即如式(4),
, | (4) |
其中,为未排序的像元序列,下标代表采集时间从先到后,为经过排序的像元序列,下标代表响应值从小到大。通过排序,确保位于图像序列中间的图像的像元响应在整幅图像上更加一致,将极端的响应值移动到图像序列前部和尾部的图像上,再根据所选择的序列长度,适当地舍去图像序列前部和尾部各帧,得到新的图像序列,此时的图像序列可认为已能够较好地体现一定时间段内焦平面的响应特性。焦平面中心的点与焦平面上所有其他像元的平均距离最短,故而选择图像中心的点作为参考点,将其余像元与参考点的统计特性的差异认为是非均匀性的体现。
虽然通过将每个像元与参考点进行比较能够直观地体现其增益校正系数的差别,但为了降低计算复杂度,本文采取经由参考点扩散到整个焦平面的方式进行比较。分别从横向(列方向)和纵向(行方向)进行比较,分别如

图4 增益比传递方向 (a)横向(列方向),(b)纵向(行方向)
Fig. 4 Gain ratio transfer direction (a) Horizontal (column direction), (b) longitudinal (row direction)
以横向为例,将参考点所在的列设为参考列,从此列开始,对相邻列上相同位置的像元响应进行比较,遵循式(5),
, | (5) |
其中,为横向相邻像元的增益校正系数比值,为像元增益校正系数,经过这个操作,将像元响应中的场景辐射部分消去,只留下与相邻列像元间增益校正系数的比值。如此,得到增益校正系数比值的图像序列,长度仍为,再将这个图像序列按照的大小进行排序后,将新得到的图像序列的前部和尾部各帧舍去,得到长度为的图像序列。由
, | (6) |
其中,为增益校正系数比值沿图像序列长度的方向的均值,得到列平均增益比图像,这副图像上的每个点的值即为在该点的像元与同行靠近参考列一侧的邻近像元的增益比,将从该点沿行到参考列的所有点的值进行累乘,如式(7),
, | (7) |
即可得到该点与参考列上相同位置的点的增益比,增益比传递路径如
以同样的方式对纵向进行比较,遵循式(8),
, | (8) |
求得纵向相邻像元增益校正系数比值后,由式(9),
, | (9) |
得到行平均增益比,由式(10),
, | (10) |
即可得到该点与参考行上相同位置的点的增益比,增益比传递路径如
, | (11) |
即可得到该点相对于参考点的增益比,以左上角某像元为例,其增益比传递路径如

图5 焦平面上的增益比传递
Fig. 5 Gain ratio transfer on focal plane
若使用如
将上述对单个图像序列的操作应用于检偏通道图像序列和其对应的偏振冗余估计图像序列,得到增益比和,经由式(12),
, | (12) |
得到偏振加权增益比,其中。
尽管前文使用计算前后帧像元响应的差的平方的方式快速排除了大部分静止场景帧,防止其混入用来统计的图像序列,但是未能排除的静止场景帧和一些其他因素仍然会在增益比图像上造成鬼影,最终导致校正后图像上出现鬼影,为了抑制这个影响,对增益比矩阵进行辐射重定标,过程如下:
首先对本轮校正使用的图像序列取均值,得到均值图像,使用增益比矩阵对均值图像进行校正得到。计算和图像的低频特征图像和,由式(13),
, | (13) |
得到重定标参数,通过重定标参数调整增益比矩阵,如式(14),
, | (14) |
得到最终的增益校正调整系数。整个校正算法流程如

图6 基于场景偏振冗余估计的非均匀校正算法流程图
Fig. 6 Flow chart of polarization redundancy estimation scene-based non-uniformity correction algorithm
对于本文提出的基于偏振冗余估计的场景非均匀校正算法的校正效果的评价,将以在多样的真实场景数据集中的实际表现和非均匀性评价公式相结合的方式进行。红外焦平面的非均匀性评价式不能直接用于红外偏振焦平面这种异构焦平面。因此,分通道地对校正前后图像的非均匀性进行评价,如
, | (15) |
, | (16) |
其中为单通道非均匀性,为该通道检偏方向,为单通道平均响应,为单通道内像元总行数,为单通道内像元总列数,为单通道内像元响应,而整个红外偏振焦平面的非均匀性 则使用四个检偏通道的均值表示。
用来测试算法的数据集包含了200个真实场景图像序列,每个图像序列的长度均大于500帧,包含了天空、海洋、城市、乡村等场景,具有一定的代表性,涵盖了红外偏振焦平面的绝大多数使用场景。部分场景的红外偏振马赛克图像如

图7 数据集部分场景
Fig. 7 Some scenes of dataset
对数据集内图像序列分别进行基于偏振冗余估计的场景非均匀校正,选取便于说明的图像帧对校正效果进行说明,并将本文方法与基于配准的适用于红外焦平面的IRLMS算法和适用于偏振焦平面的FiSC算法进行比较。

图8 红外偏振马赛克图像 (a)未经场景校正, (b)IRLMS校正, (c)FiSC校正, (d)本文方法校正
Fig. 8 Infrared polarization mosaic image (a) Unscene corrected, (b) IRLMS corrected (c) FiSC corrected (d) our method correction
从

图9 线偏振度图像 (a)未经场景校正 (b)IRLMS校正 (c)FiSC校正 (d)本文方法校正
Fig. 9 Degree of linear polarization image (a) Unscene corrected, (b) IRLMS corrected (c) FiSC corrected (d) our method correction
从

图10 偏振角图像 (a)未经场景校正 (b)IRLMS校正 (c)FiSC校正 (d)本文方法校正
Fig. 10 Angle of polarization image (a) Unscene corrected, (b) IRLMS corrected (c) FiSC corrected (d) our method correction
在这个场景中,未经场景校正的红外偏振马赛克图像的非均匀性评价URall为0.544 1,本文方法校正结果的非均匀性评价URall为0.523 9。非均匀性有所下降。从不同非均匀校正方法的结果图像综合对比来看,本文方法在红外偏振马赛克图像、线偏振度和偏振角图像中,均取得了更好的校正效果。

图11 场景1
Fig. 11 Scene 1

图12 场景2
Fig. 12 Scene 2
从不同非均匀校正方法的结果图像和不同场景的结果图像综合来看,本文方法校正后图像的质量明显提高,噪点明显减少,场景中的物体更加清晰明显,因此可以认为,本文提出的基于场景偏振冗余估计的非均匀校正算法,对非均匀性漂移造成的偏振计算成像图像质量下降有较好的改善效果。
本文针对红外偏振焦平面非均匀性漂移的问题,提出了一种基于偏振冗余估计的场景非均匀校正算法。通过对采集得到图像和偏振冗余估计得到的图像进行统计,得到整个焦平面上所有像元的响应在统计特性上的差异,然后分通道从两个方向对这些差异进行比较分析,得到更新后的增益校正系数,再通过辐射重定标抑制由于静止场景所造成的鬼影,得到当前状态下相机的增益校正系数。在这个过程中,通过偏振冗余估计评价之前的校正系数,自适应地实现增益校正系数的更新。实验结果表明本文方法对真实场景的强度图像及其偏振图像具有一定的校正效果,对偏振计算成像的图像质量有一定的提升。
References
Zhang Y, Han J T, Li J C, et al. Characteristics analysis of infrared polarization for several typical artificial objects [J]. Image and Signal Processing for Remote Sensing XX. International Society for Optics and Photonics, 2014, 9244:92440I. 10.1117/12.2066834 [百度学术]
Goudail F, Tyo J S. When is polarimetric imaging preferable to intensity imaging for target detection? [J]. JOSA A, 2011, 28(1):46-53. 10.1364/josaa.28.000046 [百度学术]
Maeno K, Nagahara H, Shimada A, et al. Light field distortion feature for transparent object recognition [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013:2786-2793. 10.1109/cvpr.2013.359 [百度学术]
Boyaci H, Doerschner K, Snyder J L, et al. Surface color perception in three-dimensional scenes [J]. Visual Neuroscience, 2006, 23(3-4):311-321. 10.1017/s0952523806233431 [百度学术]
Li N, Zhao Y, Pan Q, et al. Full-Time monocular road detection using zero-distribution prior of angle of polarization [C]. European Conference on Computer Vision. Springer, Cham, 2020:457-473. 10.1007/978-3-030-58595-2_28 [百度学术]
Ratliff B M, LeMaster D A, Mack R T, et al. Detection and tracking of RC model aircraft in LWIR microgrid polarimeter data [J]. Polarization Science and Remote Sensing V. International Society for Optics and Photonics, 2011, 8160:816002. 10.1117/12.894669 [百度学术]
Harnett C K, Craighead H G. Liquid-crystal micropolarizer array for polarization-difference imaging [J]. Applied optics, 2002, 41(7):1291-1296. 10.1364/ao.41.001291 [百度学术]
Farlow C A, Chenault D B, Pezzaniti J L, et al. Imaging polarimeter development and applications [J]. Polarization Analysis and Measurement IV. International Society for Optics and Photonics, 2002, 4481: 118-125. 10.1117/12.452880 [百度学术]
Tyo J S. Hybrid division of aperture/division of a focal-plane polarimeter for real-time polarization imagery without an instantaneous field-of-view error [J]. Optics Letters, 2006, 31(20):2984-2986. 10.1364/OL.31.002984 [百度学术]
Perkins R, Gruev V. Signal-to-noise analysis of Stokes parameters in division of focal plane polarimeters [J]. Optics Express, 2010, 18(25):25815-25824. 10.1364/OE.18.025815 [百度学术]
Hao J, Zhao Y, Liu W, et al. A micro-polarizer array configuration design method for division of focal plane imaging polarimeter [J]. IEEE Sensors Journal, 2020, 21(3):2828-2838. 10.1109/jsen.2020.3027030 [百度学术]
Tyo J S, Goldstein D L, Chenault D B, et al. Review of passive imaging polarimetry for remote sensing applications [J]. Applied optics, 2006, 45(22):5453-5469. 10.1364/ao.45.005453 [百度学术]
LIU Hai-Zheng, SHI Ze-Lin, FENG Bin. Mechanism and calibration of non-uniformity for IR polarization imagery obtained with integrated micro-polarizer array [J]. Optics and Precision Engineering(刘海峥, 史泽林, 冯斌. 微偏振片阵列红外成像非均匀性产生机理及其校正. 光学精密工程), 2018, 26(002):480-491. 10.3788/OPE.20182602.0480 [百度学术]
Fei H, Li F M, Chen W C, et al. Calibration method for division of focal plane polarimeters [J]. Applied optics, 2018, 57(18):4992-4996. 10.1364/ao.57.004992 [百度学术]
Zuo C, Chen Q, Gu G, et al. Scene-based nonuniformity correction algorithm based on interframe registration [J]. JOSA A, 2011, 28(6):1164-1176. 10.1364/JOSAA.28.001164 [百度学术]
Black W T, Tyo J S. Feedback-integrated scene cancellation scene-based nonuniformity correction algorithm [J]. Journal of Electronic Imaging, 2014, 23(2):023005. 10.1117/1.JEI.23.2.023005 [百度学术]