机载高光谱可见近红外/短波红外模块视轴角自校正方法研究

郭然; 王跃明; GUO Ran; WANG Yue-Ming

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

机载高光谱可见近红外/短波红外模块视轴角自校正方法研究 PDF

- ORCID：
郭然 ^1,2
✉
- ORCID：
王跃明 ^1,2
✉

1. 中国科学院上海技术物理研究所空间主动光电技术重点实验室，上海 200083； 2. 中国科学院大学，北京 100049

中图分类号： TP391.41

最近更新：2023-12-20

DOI：10.11972/j.issn.1001-9014.2023.06.019

摘要

外视场拼接是实现机载高光谱成像系统同时具有大视场与宽光谱采样范围的有效方式。由于各个成像单机独立安装，对应的可见近红外模块单机与短波红外模块单机之间的视轴角会在设备长时间运行后产生变化，视轴角的变化会对可见/短波红外的数据融合效果产生负面影响。而视场重叠使基于对极几何和平面单应性的校正方法不能有效地解算出对应可见/短波红外单机之间的视轴角，因此无法对视轴角偏差导致的图像失配进行修正。针对使用外视场拼接来扩大总视场和总响应带宽特点的机载高光谱成像系统，本文提出了一种视轴角和焦距校正算法。通过使用多级特征筛选方法，结合最小化重投影误差，实现了可见近红外/短波红外对应单机之间视轴角与相对焦距的自校正，提高了图像配准精度。该算法已经应用于AMMIS机载大视场高光谱成像仪。实验结果表明，该方法最大平均误差小于0.2像素，且对倾斜放置的相机也具有很好的适应性。

关键词

视轴角校正; 航空高光谱; 可见近红外/短波红外; 多模块

引言

机载高光谱图像在精准农业^［

1-2］、资源勘探^{［参考文献 3-4}3-4］、灾害监测^{［参考文献 5

百度学术}5］等方面具有广阔的应用前景。具有大视场、宽光谱范围的机载高光谱成像系统可以提高数据的获取效率，从而推动高光谱图像大规模应用。然而，对于推扫式高光谱成像系统，受限于传感器的规模，大视场与高分辨率在设计中不能同时实现。在传感器规模有限的情况下，有很多成像系统通过视场拼接的方式实现了大视场和高分辨率，如WorldView-2^{［参考文献 6

百度学术}6］、 Sentinel-2^{［参考文献 7

百度学术}7］、PRISMA^{［参考文献 8

百度学术}8］、 GaoFen-1^{［参考文献 9

百度学术}9］等星载成像系统。同时，不同探测器的响应波长范围以及工作条件不同，为了同时获取多个波段的高光谱数据并且充分利用不同探测器的工作特性，需要使用不同类型的探测器采集数据并进行数据融合。例如，HySpex VS-1200^{［参考文献 10

百度学术}10］、FENIX^{［参考文献 11

百度学术}11］等机载推扫式成像光谱仪，通过CCD或CMOS探测器采集可见近红外波段数据，碲镉汞探测器采集短波红外波段数据，最终通过数据融合的方式得到从可见近红外波段到短波红外波段的连续光谱数据。中国科学院上海技术物理研究所研制的机载多模态成像光谱仪（AMMIS）通过外视场拼接的设计方案，实现了大视场、高分辨率和宽光谱采样范围。

航空遥感设备工作在一个高震动的环境中，即使有稳定平台过滤震动，在长时间的工作中，探测器模块之间的外参仍然会发生变化。因此，不同波段探测器之间的视轴角校正对提高高光谱图像的数据质量至关重要。根据两幅图像恢复两者之间的投影关系是运动恢复结构（Structure-from-Motion，SfM）^［

12］中的一个基本问题。在SfM中，可以通过提取两幅图像中的同名点结合对极约束求解两幅图片之间的外参。当两幅图中的同名点的深度接近一致时，对极几何^{［参考文献 13

百度学术}13］约束会产生退化，此时可以使用单应性约束^{［参考文献 13

百度学术}13］代替对极几何进行求解。对于遥感设备的外参检校，常用的方法有利用图像中的地面控制点，结合共线方程构建最小二乘优化问题求解。

但上述方法运用在AMMIS上时存在局限性，对极几何需要两幅图片之间存在明显位移，而重叠视场设计使得AMMIS的可见近红外与短波红外模块之间的位置变化主要受旋转影响，因此对极几何约束退化明显。而AMMIS在空间维采用了三拼的设计方案来扩大总视场，并且两侧相机为倾斜放置。对于倾斜相机，使用单应性约束不能很好地解算出可见近红外模块和短波红外模块之间的横滚角误差。虽然通过布设地面控制点可以有效地检校视轴角偏差，但是其布设成本高昂，不适用于大规模遥感观测任务。

针对推扫型航空遥感中成像设备与POS系统之间的视轴角校正已有很多研究，Muller^［

14］等人提出使用最小化地面控制点与图像投影点的重投影误差结合共线方程求解视轴角误差，国内有涂心茹^{［参考文献 15

百度学术}15］等人利用类似方法校正ADS40三线阵相机。Lenz^{［参考文献 16

百度学术}16］等人利用DEM数据辅助自动提取特征点用于多山区域视轴角校正。Habib^{［参考文献 17

百度学术}17］等人提出多种策略，典型的有使用平坦区域假设、共线方程结合空中三角测量等方法进行视轴角校正。上述研究主要聚焦于成像系统与POS系统之间的视轴角校正，并且需要地面控制点或者空中三角测量进行求解。本文更侧重视场高度重叠的成像模块之间的自校正。

基于AMMIS的系统设计方案，主要解决视轴角误差导致的可见近红外与短波红外相机图像之间的失配问题。为此，对视轴角与焦距误差对可见近红外与短波红外图像配准的影响进行分析，提出了一种基于最小化重投影误差的视轴角与焦距自校正方法。算法核心由两部分构成，可见近红外图像与短波红外图像同名点数据的获取，基于最小化同名点重投影误差求解视轴角误差。本文方法不依赖地面控制点，在对横滚角引起的尺度变化上，该方法的校正效果优于单应性约束。该方法已经应用于AMMIS真实航摄数据，结果显示可见近红外图像与短波红外图像平均误差小于1像素。

1 视轴角校正模型与算法

本节将介绍AMMIS成像模式特点以及基于AMMIS的SWIR与VNIR单机之间视轴角与焦距模型的相关算法。算法流程图如图1所示，其主要由三部分构成，投影模型、可见近红外与短波红外图像特征匹配、视轴角与焦距校正算法。

图1 视轴角校正算法流程图

Fig. 1 The algorithm flowchart of boresight angle calibration

1.1　AMMIS关键参数及成像模式介绍

AMMIS采用前端共光路与后端视场拼接的成像方式，其单个子系统光学系统示意图如图2和图3所示。可见近红外与短波红外模块共用前端成像望远镜，光线经过分光后分别进入可见近红外与短波红外模块。可见近红外与短波红外模块数据均由三个独立探测器采集，经过数据融合后得到最终结果。可见近红外与短波红外三台相机对地成像模式如图4所示，单个可见近红外/短波红外相机的核心参数如表1所示。AMMIS使用Applanix公司生产的POS AV610作为POS系统。为增加方法的普适性，本文使用POS AV610的标准定位模式下的后处理数据，此模式下高程精度3 m，水平精度1.5 m，横滚与俯仰角精度为0.005°，航向角精度为0.03°。

图2 AMMIS可见近红外单机光学系统结构示意图

Fig. 2 The schematic diagram of the AMMIS optical system for a single VNIR subsystem

图3 AMMIS短波红外单机光学系统结构示意图

Fig. 3 The schematic diagram of the AMMIS optical system for a single SWIR subsystem

图4 可见近红外/短波红外六台相机对地成像示意图

Fig. 4 The imaging modes of six VNIR/SWIR subsystems

表1 AMMIS可见近红外与短波红外高光谱成像子系统核心参数

Table 1 Core parameters of the AMMIS VNIR/SWIR hyperspectral imaging subsystem

参数	VNIR	SWIR
波长范围/nm	400~1 000	1 000~2 500
视场角/°	14	14
瞬时视场角/mrad	0.25	0.5
焦距/mm	128	50
波段数	256	512
单机像元数	1024	512
像元尺寸/μm	32	25
数据位数/bit	16	16
相邻单机之间夹角/°	12.78	12.78

1.2　投影模型

本文根据机载POS系统数据，可以得到成像系统实时的定位和定向信息，通过直接地理参考（Direct Georeferencing）的方式，可以得到图像被摄点对应的真实地理坐标。相机坐标系定义与地面点投影到焦平面的过程如图5所示，图像被摄点的投影过程可以用以下公式表示：

P_{c} = λ K^{- 1} p_{u v}

K = [\begin{matrix} - f & 0 & 0 \\ 0 & - f & 0 \\ 0 & 0 & 1 \end{matrix}]

(1)

其中， $p_{u v} = {(0, y, 1)}^{T}$ 为被摄点在归一化图像坐标系中的坐标，λ为图像点在相机坐标系的深度， $K$ 为相机的内参矩阵， $P_{c}$ 为被摄点在相机坐标系中的坐标。

图5 相机坐标系定义与投影过程示意图

Fig. 5 The definition of camera coordinate system and the illustration of projection process

图像坐标系到地心地固坐标系（Earth-Centered Earth-Fixed， ECEF）坐标的转换过程可以用以下公式表示：

P_{E} = P_{N}^{E} (R_{b}^{N} (R_{c}^{b} P_{c} + t_{b c}) + t_{N b}) + t_{E N}

(2)

其中， $P_{E}$ 为被摄点在ECEF坐标系中的坐标， $R_{c}^{b}$ 为相机坐标系到惯性测量单元（Inertial Measurement Unit， IMU）坐标系的旋转矩阵， $t_{b c}$ 为相机坐标系原点在惯性测量单元坐标系下的坐标， $R_{b}^{N}$ 为惯性测量单元到北东地（North East Down， NED）局部坐标系的旋转矩阵， $t_{N b}$ 为IMU坐标系原点在NED坐标系下的坐标， $R_{N}^{E}$ 为北东地局部坐标系到ECEF坐标系的旋转矩阵， $t_{E N}$ 为NED坐标系原点在ECEF坐标系下的坐标。根据被摄点的ECEF坐标，将被摄点转换到UTM坐标系，并使用在UTM坐标将图像栅格化，即可以得到二维图像信息。

1.3　可见近红外图像与短波红外图像同名点提取

视轴角校正依赖于可见近红外与对应短波红外图像同名点的重投影误差，因此，可见近红外与短波红外图像同名点提取是视轴角校正的基础。根据1.1 节的介绍，可见近红外/短波红外模块在理想情况下，可见近红外图像与对应相机的短波红外图像具有相同的视场，因此图像内容具有很强的一致性。由于可见近红外相机的瞬时视场是短波红外相机的0.5倍，为保证可见图像与短波红外图像尺度的一致性，本文将可见波段图像降采样后与短波红外图像进行匹配，特征匹配算法采用SIFT^［

18］算法，特征匹配后采用先RANSAC^{［参考文献 19

百度学术}19］后DBSCAN^{［参考文献 20

百度学术}20］算法剔除误匹配点。根据1.2 节的投影过程，我们可以得到图像点对应的UTM坐标，由此我们获得可见近红外图像与短波红外图像的特征点对以及对应的UTM坐标。结合最佳扫描行搜索算法^{［参考文献 21

百度学术}21］，可以得到特征点对应的拍摄时刻相机姿态与传感器像元，用于之后的视轴角校正算法。

1.4　视轴角与焦距校正模型

根据1.1 节的介绍，可见近红外/短波红外模块采用外视场拼接，模块内部三台相机之间有机械结构进行限位，因此，可见近红外与短波红外对应相机之间的图像失配主要原因是视轴角的变化。由于全部相机的内参经过实验室标定，并且结合实际拍摄结果分析，内参变化主要由焦距引起，同时飞行过程中无法知道可见近红外子系统与短波红外子系统的真实焦距值，因此，我们以可见近红外子系统为基准，估计短波红外与可见近红外子系统之间的焦距比例。

视轴角校正以可见近红外相机为基准，求解短波红外相机到可见近红外相机的视轴角误差。视轴角误差对焦平面像元坐标的影响可以用以下公式表示：

P_{c}^{'} = R P_{c}

(3)

其中， $P_{c}^{}$ 为视轴角为标称值时被摄点在相机坐标系中的三维坐标， $R$ 为视轴角修正量对应的旋转矩阵， $P_{c}^{'}$ 为视轴角修正后被摄点在相机坐标系中的坐标。当无视轴角误差时， $R = I$ ，同时对旋转矩阵 $R$ 施加左扰动 $δ φ = (φ_{r}, φ_{p}, φ_{y})$ ，焦距f施加扰动，观察其对投影点三维坐标 $P_{c}^{} = (0, - \frac{λ y}{f}, λ)$ 的影响，其结果如下所示：

\begin{array}{l} P_{c}^{'} - P_{c} = \frac{\partial R P_{c}}{\partial φ} δ φ + \frac{\partial R P_{c}}{\partial f} δ f \\ = - {(R P_{c})}^{^} δ φ + R \frac{\partial P_{c}}{\partial f} δ f \\ = {(\begin{matrix} λ φ_{p} + \frac{λ y}{f} φ_{y} \\ - λ φ_{r} + \frac{λ y}{f^{2}} δ f \\ - \frac{λ y}{f} φ_{r} \end{matrix})}_{R = I} \end{array}

(4)

其中，（•）＾将向量转换为反对称矩阵。公式（4）显示出此时在Z轴的坐标分量并不为0，这会使投影点脱离投影面，为解决此问题，将公式（4）的 $λ$ 用公式（6）中的 $λ'$ 代替后可得

\begin{array}{l} P_{c}^{'} = P_{c} (λ') + \frac{\partial R P_{c} (λ')}{\partial φ} δ φ + \frac{\partial R P_{c} (λ')}{\partial f} δ f \\ = {(\begin{matrix} \frac{f λ φ_{p}}{f - y φ_{r}} + \frac{λ y φ_{y}}{f - y φ_{r}} \\ - \frac{f λ φ_{r}}{f - y φ_{r}} + \frac{λ y δ f - f λ y}{f^{2} - f y φ_{r}} \\ λ \end{matrix})}_{R = I} \end{array}

(5)

其中， $λ'$ 为

λ' = \frac{λ}{1 - \frac{y φ_{r}}{f}}

(6)

结合公式（5）可以发现，将公式（4）中的 $λ$ 用 $λ'$ 代替后， $P'$ 的Z坐标分量不再受旋转的影响，投影面仍保持为 $Z = λ$ 。同时可以发现Y坐标分量受归一化图像坐标y的影响，其尺度发生变化。图6直观显示视轴角误差对前方交会投影点的影响，也可以发现横滚角会影响整帧图像在地面投影的尺度，这是单应性约束效果不好的原因，而俯仰角与偏航角对尺度影响不大，由此本文选择最小化重投影误差求解视轴角误差。

图6 视轴角误差对前方交会的影响（蓝色为对视轴角施加微扰之前，红色为对视轴角施加微扰之后）

Fig. 6 The effect of boresight angles on forward intersection （blue is before applying disturbance to boresight angles， red is after applying disturbance to boresight angles）

根据公式（1）和（2）的逆过程，我们可以得到同名点在可见近红外相机与对应短波红外相机之间的重投影误差：

r =

p_{u v}^{v} - p_{u v}^{s}

(7)

其中， $p_{u v}^{v} = (x_{u v}^{v}, y_{u v}^{v}, 1)$ 为同名点在可见近红外相机的图像坐标系中的坐标， $p_{u v}^{s} = (x_{u v}^{v}, y_{u v}^{v}, 1)$ 为根据同名点在短波红外图像中的UTM坐标重投影到可见近红外相机图像坐标系中的坐标，其重投影坐标的计算如下所示：

p_{u v}^{s} = \frac{K R_{E}^{c} (P_{E}^{s} - P_{E}^{v_{c a m}})}{[R_{E}^{c} (P_{E}^{s} - P_{E}^{v_{c a m}} {)]}_{z}}

(8)

其中， $P_{E}^{s}$ 为短波红外相机观测得到的同名点在ECEF坐标系下的坐标， $P_{E}^{v_{c a m}}$ 为拍摄同名点时可见近红外相机坐标系原点在ECEF坐标系下的坐标， $R_{E}^{c}$ 为从ECEF坐标系到拍摄同名点时可见近红外相机坐标系的旋转矩阵， $K$ 为可见近红外相机的内参矩阵。

用公式（3）中的 $P'$ 代替 $P_{c}$ 后，重投影误差 $r$ 成为关于视轴角误差和焦距的函数，关于重投影误差的损失函数定义如下：

r^{⊺} r

(9)

本文通过最小化损失函数得到视轴角偏差，为简化求解过程，采用随机搜索的方法求解此优化问题。视轴角随机更新公式如下：

φ_{n + 1} = φ_{n} + δ φ_{n + 1}

(10)

其中， $φ_{n}$ 为第n次搜索使用的视轴角， $φ_{n + 1}$ 为第n+1次搜索使用的视轴角， $δ φ_{n + 1}$ 为第n+1次视轴角随机更新量， $φ_{n}, φ_{n + 1}, δ φ_{n + 1}$ 。焦距随机更新公式如下：

(11)

其中，为焦距标称值，为第n次搜索使用的焦距值，为第n+1次搜索使用的焦距值，为第n+1次焦距随机更新量。

2 实验结果与分析

2.1　实验数据集介绍

测试数据集由AMMIS于2018年9月22日在中国河北雄安新区采集。飞行平台为运-5飞机，航高为2100 m，可见近红外图像的地面采样间距（Ground Sampling Distance， GSD）为0.6 m，短波红外图像的GSD设置为1.2 m。本文选取其中一条航带作为测试数据，其中0级数据包含超过130000 行图像，可见近红外图像使用三波段数据，中心波长分别为473.682 6 nm、559.190 6 nm、673.570 5 nm，短波红外图像也是用三波段数据，中心波长分别为1 263.671 8 nm、1 351.562 5 nm、1 457.031 2 nm。由于本文侧重可见近红外单机与短波红外单机之间的视轴角自校正，并且相邻航带之间的同名点位置误差由直接地理参考后的位置决定。直接地理参考位置精度除了会受本文的可见近红外模块与短波红外模块之间视轴角误差的影响，还会受到相机模块与POS模块之间视轴角误差、可见模块之间视轴角误差、POS定位精度和地面高程信息的影响。研究团队将在后续研究中进一步解决POS系统与相机系统之间的视轴角校正等其余问题，因此本文侧重单航带分析。为方便表示，本文选取一部分图像数据作为结果展示，并且将一台可见相机与对应的短波红外相机视为一组，航带航向与三组相机的成像区域与编号示意图如图7所示。

图7 飞行方向与成像子系统编号示意图

Fig. 7 The schematic diagram of flight direction and imaging subsystem identification

2.2　实验结果

本章节主要介绍实验参数的设置与实验结果的分析，算法流程图如图1所示。经过实验测试，取值为3时，即可取得理想精度。在特征提取步骤中，RANSAC算法中设定threshold=3，DBSCAN算法中设定eps=1，min_samples=26；在视轴角校正步骤中，为了提高处理效率，从提取的特征中通过均匀下采样的方式选取800个特征用于校正算法，角度更新步长设定为0.00001 rad，焦距尺度更新步长为0.0001，随机搜索次数为10000次。

2.2.1　特征点匹配结果

本章节展示特征点匹配的相关结果。由于特征提取结果具有相似性，本文选择失配最明显的第1组相机数据展示图像特征提取结果，经过降采样后的特征点及其位置分布如图8和图9所示。可以发现，特征点几乎覆盖整条航带，避免后续结果受到局部特征点分布的影响。

图8 第1组相机可见近红外图像特征点分布及其局部放大图，注：红色点为特征点位置

Fig. 8 The distribution of feature points in VNIR images captured by camera group 1 and their local enlargements，Note：red dots are the locations of feature points

图9 第1组相机短波红外图像特征点分布及其局部放大图，注：蓝色点为特征点位置

Fig. 9 The distribution of feature points in SWIR images captured by camera group 1 and their local enlargements，Note：blue dots are the locations of feature points

由于推扫成像的特殊性，图像特征提取是在栅格化图像中而不是原始图像中进行。为了直观表示可见近红外图像与短波红外图像之间的匹配关系，本文通过定义特征点垂直于飞行方向的栅格化图像有效像素的坐标值（Dist）与其在UTM坐标系中横纵坐标差值（ΔX或ΔY）的散点图来衡量可见近红外相机与短波红外相机之间的配准关系，示意图如图10所示。

图10 栅格化图像有效像素的坐标值与UTM坐标系中横纵坐标差值示意图

Fig. 10 The schematic diagram of Dist in the rasterized image with ΔX， ΔY in UTM coordinate system

图11展示了每一级特征筛选方法对特征点筛选的影响，从图中可知，仅使用SIFT算法配合基本的FLANN^［

22］算法匹配的特征点会引入较多误匹配点，在FLANN筛选结果后配合方法会相比于仅使用FLANN算法的结果有改善，但筛选结果仍会包含位于聚类边缘的特征点，在RANSAC筛选出的结果后再加入DBSCAN方法筛选的特征点更加靠近聚类中心，具有更好的一致性。表 2展示出不同筛选算法筛选后的特征点数量变化，结合图11可以发现，使用包含DBSCAN的方法能更好地筛选出聚类中心的特征点，提升后续算法的校正精度。

图11 不同筛选方法对特征点筛选结果的影响（使用第一组相机数据）

Fig. 11 The influence of various feature selection methods on the results of feature point selection （a case study using the first group of camera）

表2 可见近红外与短波红外图像特征数量

Table 2 Number of features extracted from VNIR and SWIR images

相机分组	1	2	3
FLANN	1 855	2 774	4 124
FLANN +RANSAC	1 510	2 574	2 926
FLANN +RANSAC+DBSCAN	1 181	2 406	2 784

2.2.2　检校结果

本节展示三组相机的检校结果与校正前后图像的对比。根据本文方法计算出三组相机中可见近红外相机与短波红外相机之间的视轴角和每组短波红外相机检校值与标称值的比值关系如表 3所示。

表3 视轴角与焦距检校结果

Table 3 The calibration result of the boresight angles and focal length scale

相机分组	1	2	3
横滚角（rad）	-0.013 5	-0.013 92	-0.014 2
俯仰角（rad）	0.000 06	-0.000 48	-0.000 66
偏航角（rad）	-0.000 36	0.003 64	0.000 86
焦距比例	1.004 6	1.000 8	1.003 6

将检校结果应用于测试数据后，结果如图12所示，从可见近红外与短波红外投影图像的棋盘格拼接图像可以发现，使用单应性约束得到的结果在横向有轻微错位，纵向拼接效果良好，使用本文方法所得结果的边缘视觉拼接效果良好，横向与纵向均没有发现错位，相比未校正结果有明显提升。

图12 使用不同方法校正可见近红外与短波红外数据在UTM坐标系下投影的棋盘格图像

Fig. 12 Checkerboard images projected in UTM coordinate system for VNIR and SWIR data using various methods

2.2.3　公式验证

本节将以第二组相机为例，结合视轴角与焦距检校结果，验证公式（4）~公式（6）的正确性。验证方式为根据检校结果，对比800对用于随机搜索的特征在使用随机搜索与使用公式近似两种情况下，重投影误差的分布情况。

图13 使用随机搜索与近似公式时重投影误差与投影面高程误差（以第2组相机为例）

Fig. 13 The comparative analysis of reprojection error and projection plane altitude error using random search and approximate formulas （a case study using the second group of camera）

从图中可以发现，使用随机搜索与使用公式近似两者在两方向重投影误差与投影平面高程差异很小，差异主要来源于公式近似损失精度，当使用小步长迭代时，差异可以忽略。由此可以验证公式（4）~公式（6）的正确性。

2.2.4　精度分析

根据特征点在UTM坐标中的误差与特征点在栅格化图像中有效像素的坐标值，可以很好地评价图像在垂直于飞行方向的配准精度。由图14可以发现，三组相机的ΔX平均差值明显小于ΔY，并且ΔX跟随Dist的变化幅度很小，表明俯仰角和偏航角的误差较小，显示出ΔY平均差值明显大于ΔX，同时ΔY的变化与Dist的变化有明显的相关关系，表明横滚角存在误差。图14（d）~（f）显示，第1组和第3组相机之间的ΔY变化趋势相反，第2组相机的ΔY变化很小，结合安装位置可以发现，横滚角受倾斜安装方式的影响明显，结合图15（d）~（f）可以发现，校正后的ΔY与Dist的相关关系明显减弱。表4显示校正前后在UTM坐标系下，可见近红外图像与短波红外图像的对应特征点之间的残差统计值。从表中可以发现，校正后的平均残差接近于0，标准差相比校正前有明显缩小，精度相比校正前有明显提高。

图14 原始参数下三组相机可见近红外与短波红外图像在UTM坐标系下的重投影误差

Fig. 14 The peprojection error of VNIR and SWIR images from three sets of cameras with original parameters

图15 使用本文校正后三组相机可见近红外与短波红外图像在UTM坐标系下的重投影误差

Fig. 15 The reprojection error of VNIR and SWIR images from three sets of cameras with our method

表4 校正前后重投影误差在UTM投影下的统计值对比

Table 4 The comparison of reprojection error in UTM coordinate system before and after calibration

相机分组	校正前				校正后
	X坐标残差		Y 坐标残差s		X 坐标残差		Y 坐标残差
	Mean（m）	STD（m）	Mean（m）	STD（m）	Mean（m）	STD（m）	Mean（m）	STD（m）
1	-3.6	0.91	32.5	1.75	0.009	0.48	0.006	0.56
2	-2.8	1.21	29.6	0.53	-0.01	0.46	-0.053	0.49
3	-2.2	1.12	30.1	0.62	0.015	0.47	-0.09	0.52

本文根据单应性约束与本文方法所得到的特征点投影误差，对两种方法进行详细对比。首先对比X方向的重投影误差，通过图16（a）~（c）可以发现，使用单应性约束校正后，X方向的重投影误差在图像两端的误差较大，并且在图像中间部分误差有起伏变化。这是因为单应性约束作用于整幅图像，并且图像呈长条型分布，微小的旋转会使图像两端的重投影误差变大，而航空推扫图像是由重投影至地面形成的，飞机飞行过程中的姿态变化叠加视轴角偏差会使重投影图像出现局部扭曲。图16（d）~（f）显示使用本文方法，即在投影过程中加入视轴角修正项，所得到的重投影误差在整个图像中保持水平分布，没有出现明显的起伏。

图16 使用单应性约束与本文方法校正后可见近红外与短波红外图像在UTM坐标系下的重投影误差

Fig. 16 The reprojection error of VNIR and SWIR images from three sets of cameras calibrated with homography constraints and our method

根据单应性约束求解得到的Y方向重投影误差见图17，为进一步分析两者结果的不同，本文采取最小二乘法拟合二次曲线并比较系数差异的方式，对ΔY与Dist之间的线性关系进行评价。本文通过将Dist值缩小100倍来使拟合结果对比更明显，结合表 5 中A、B、C的系数值可知，对于第三组相机，本文方法的结果在垂直于飞行方向的弯曲最明显，使用单应性约束的结果最平直；而对于第一组相机，两种方法的结果相反。为进一步分析两者差异的原因，对单应性矩阵分解求出旋转矩阵，并转换为XYZ顺序的欧拉角，相关结果见表 6。由于推扫图像是栅格化后的重投影图像，没有统一的矩阵，因此本文定义

(12)

其中，为平均高度。将用于由单应性矩阵分解求解旋转矩阵，可以发现按照图像坐标定义，X轴旋转角即横滚角，横滚角越大的相机组，使用单应性约束结果拟合的曲线最弯曲，本文方法更平直，反之，单应性约束结果更平直。根据表 6中第1、2、3组相机之间X轴夹角的不同，可以发现本文方法的结果在图15（f）中较为弯曲的原因是没有考虑位移误差。同时，图14（d）的斜率大于（f），但是检校结果显示第1组相机的横滚角小于第3组相机，推测特征点分布斜率不同的原因也是存在位移误差。因此，对于由位移引起的图像失配，本文结果会变差，使用单应性约束会取得更好结果。

图17 使用单应性约束校正后三组相机可见近红外与短波红外图像在UTM坐标系下的重投影误差

Fig. 17 The reprojection error of VNIR and SWIR images from three sets of cameras with homography constraints

表5 Y方向重投影误差与Dist之间二次曲线拟合结果

Table 5 Quadratic curve fitting results for the relationship between Y-direction reprojection error and Dist

	单应性约束			本文方法
相机分组	1	2	3	1	2	3
A	-0.06	-0.043	0.013	0.01	-0.028	-0.12
B	0.41	0.23	-0.08	-0.1	0.15	0.65
C	-0.51	-0.24	0.14	0.25	-0.16	-0.75

表6 单应性矩阵分解所得的欧拉角

Table 6 Euler angles derived from the decomposition of the homography matrix

相机分组	X （°）	Y （°）	Z （°）
1	1.2e-04	7.6e-04	2.42
2	-1.2e-05	7.7e-04	9.8e-01
3	3.5e-06	1.8e-05	2.7e-01

3 结语

视轴角校正结果显示，校正后每组相机的平均重投影误差小于0.2 GSD，标准差小于0.5 GSD，通过视觉观测没有明显缝隙，并且图像在垂直于飞行方向两端也保持很好的一致性，显示出本文方法的有效性。同时，根据图4所示 AMMIS成像模式，其本身存在倾斜放置与垂直放置两种形式，结果显示本文方法对这两种情况都有很好的校正效果。由公式（4）可以发现，横滚角与焦距均会引起图像在垂直于飞行方向的拉伸，这种变形会与飞机状态进行耦合造成图像局部变形。通过校正后的棋盘格图像与精度分析可知，本文方法相对单应性约束这类对图像整体进行调整的方法，在局部和全局配准效果均有优势。

虽然本文方法已取得理想的效果，但是仍有提升空间。在特征提取中，本文直接使用SIFT算法进行特征提取，没有考虑可见近红外与短波红外图像的特点，引入针对可见近红外图像与短波红外图像匹配算法后，可以增加特征提取数量，减少对测试数据量的依赖，提高效率。在实现视轴角和焦距尺度校正后，可见近红外相机与短波红外相机之间的校正精度仍有提升空间。从图15 （f）可以发现，重投影误差的分布并不是一条水平线，在垂直于飞行方向的两端存在弯曲，根据分析可知这是由于本文校正方法没有考虑位移误差，因此当两台相机存在明显位移时，本文方法校正结果会不准确。

本文针对具有外视场拼接设计特点的推扫型机载高光谱成像仪在使用过程中出现的可见近红外与短波红外相机之间视轴角与焦距会发生变化的问题，根据AMMIS的设计特点，提出一种基于重投影误差的视轴角与焦距校正算法，并且根据AMMIS的实际采集数据进行方法验证，结果显示本文方法校正效果明显，对提高此类高光谱成像系统数据质量具有参考意义。

References

Tahmasbian I， Morgan N K， Hosseini B S， et al. Comparison of Hyperspectral Imaging and Near-Infrared Spectroscopy to Determine Nitrogen and Carbon Concentrations in Wheat［J］. Remote Sensing， 2021， 13（6）： 1128. [百度学术]

Gerhards M， Schlerf M， Mallick K， et al. Challenges and Future Perspectives of Multi-/Hyperspectral Thermal Infrared Remote Sensing for Crop Water-Stress Detection： A Review［J］. Remote Sensing， 2019， 11（10）： 1240. [百度学术]

Kruse F A， Boardman J W， Huntington J F. Comparison of airborne hyperspectral data and EO-1 Hyperion for mineral mapping［J］. IEEE Transactions on Geoscience and Remote Sensing， 2003， 41（6）： 1388-1400. [百度学术]

Kirsch M， Lorenz S， Zimmermann R， et al. Integration of Terrestrial and Drone-Borne Hyperspectral and Photogrammetric Sensing Methods for Exploration Mapping and Mining Monitoring［J］. Remote Sensing， 2018， 10（9）： 1366. [百度学术]

Szpakowski D M， Jensen J L R. A Review of the Applications of Remote Sensing in Fire Ecology［J］. Remote Sensing， 2019， 11（22）： 2638. [百度学术]

Updike T， Comp C. Radiometric use of WorldView-2 imagery［J］. Technical Note， 2010： 1-17. [百度学术]

Drusch M， Del Bello U， Carlier S， et al. Sentinel-2： ESA’s Optical High-Resolution Mission for GMES Operational Services［J］. Remote Sensing of Environment， 2012， 120： 25-36. [百度学术]

Labate D， Ceccherini M， Cisbani A， et al. The PRISMA payload optomechanical design， a high performance instrument for a new hyperspectral mission［J］. Acta Astronautica， 2009， 65（9）： 1429-1436. [百度学术]

Cheng Y， Jin S， Wang M， et al. A new image mosaicking approach for the multiple camera system of the optical remote sensing satellite GaoFen1［J］. Remote Sensing Letters， 2017， 8（11）： 1042-1051. [百度学术]

HySpex［EB/OL］. ［2023-01-15］. https：//www.hyspex.com/hyspex-products/hyspex-classic/hyspex-vs-1200/. [百度学术]

admin. Fenix［EB/OL］//Specim. ［2023-01-15］. https：//www.specim.com/products/fenix/. [百度学术]

Schonberger J L， Frahm J M. Structure-from-motion revisited［C］//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 4104-4113. [百度学术]

Hartley R， Zisserman A. Multiple view geometry in computer vision［M］. Cambridge university press， 2003. [百度学术]

Muller R， Lehner M， Muller R， et al. A program for direct georeferencing of airborne and spaceborne line scanner images［J］. International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences， 2002， 34（1）： 148-153. [百度学术]

TU Xin-Ru. XU Miao-Zhong， LIU Li. The Geometric Calibration of Airborne Three-Line-Scanner ADS 40［J］. Acta Geodaetica et Cartographica Sinica， 2011， 40（1）： 78-83. （涂辛茹，许妙忠，刘丽. 机载三线阵传感器ADS40的几何检校［J］. 测绘学报） 2011， 40（1）： 78-83. [百度学术]

Lenz A， Schilling H， Perpeet D， et al. Automatic in-flight boresight calibration considering topography for hyperspectral pushbroom sensors［C］//2014 IEEE Geoscience and Remote Sensing Symposium. IEEE， 2014： 2981-2984. [百度学术]

Habib A， Zhou T， Masjedi A， et al. Boresight calibration of GNSS/INS-assisted push-broom hyperspectral scanners on UAV platforms［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2018， 11（5）： 1734-1749. [百度学术]

Lowe D G. Distinctive image features from scale-invariant keypoints［J］. International journal of computer vision， 2004， 60（2）： 91-110. [百度学术]

Fischler M A， Bolles R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography［J］. Communications of the ACM， 1981， 24（6）： 381-395. [百度学术]

Ester M， Kriegel H P， Sander J， et al. A density-based algorithm for discovering clusters in large spatial databases with noise.［C］//kdd： 96. 1996： 226-231. [百度学术]

DI Xun， XU Qing， XING Shuai， et al. Different rectification of linear pushbroom imagery based on the fast algorithm for best scan line searching［J］. Acta Geodaetica et Cartographica Sinica， 2013， 42（6）： 861-868.（耿迅，徐青，邢帅，等. 基于最佳扫描行快速搜索策略的线阵推扫式影像微分纠正算法［J］. 测绘学报） 2013， 42（6）： 861-868. [百度学术]

Muja M， Lowe D. FAST APPROXIMATE NEAREST NEIGHBORS WITH AUTOMATIC ALGORITHM CONFIGURATION：［C］//Proceedings of the Fourth International Conference on Computer Vision Theory and Applications. Lisboa， Portugal： SciTePress - Science and and Technology Publications， 2009： 331-340. [百度学术]

您是第位访问者

主管单位：中国科学院

主办单位：中国科学院上海技术物理研究所，中国光学学会

地址：上海市玉田路500号电话：021-25051553

51La

首页

学报简介

编委会

征稿简则

版权声明

开放获取

出版道德声明

相关下载

联系我们

常见问题

English Version

机载高光谱可见近红外/短波红外模块视轴角自校正方法研究 PDF

摘要

关键词

引言