摘要
针对复杂应用环境中近红外单目视觉位姿测量系统偏离预置合作目标对象后，无法完成位姿测量的特殊情况，提出一种以合作目标周边随型粗糙面图像为测量对象的单目视觉测量方法，以及图像受损后的动态自愈方法。通过将实时获取的随型粗糙面图像特征与预存基准图像特征进行匹配计算，完成特殊情况下的应急测量。同时，为减少随型粗糙面图像污染或受损后对位姿测量精度的影响，实时计算污染或受损程度并动态自愈基准图像特征。实验结果表明，以随型粗糙面为对象的位姿测量精度稍低于合作目标对象，但能够满足特殊情况下的应急使用需求，提高了测量系统的鲁棒性；当随型粗糙面图像污染或受损达到70%时，采用自愈处理与未做自愈处理相比，方位角测量误差减少72%以上，验证了基准图像自愈方法的有效性。
基于计算机单目视觉的位姿测量系统具有结构简单、非接触测量、精度高、稳定性好的特
在大多数单目视觉位姿测量系统中，最常用的方法是PnP问题（Perspective n-Points Problem）求
PnP问题的解法又分为非迭代算法及迭代算法两类。非迭代算法采用解析数学模型直接计算，速度快、实时性好，适合于动态测量与控制应用场合。代表性算法有直接线性计算方法DL
尽管采用PnP方法在解算合作目标位姿参数方面具有显著的优势，但当在实际运行中出现单目视觉测量系统偏离预置合作目标对象特殊情况后，因失去合作目标特征点图像信息，也将无法完成位姿测量，影响测量系统的正常运行。
因此，本文以被测物体合作目标周边的随型粗糙防滑涂层表面为研究对象，针对随型粗糙面图像缺少专门设计的特征点信息，难以使用PnP算法进行精确位姿测量的问题，研究提出一种以随型粗糙面为测量对象的单目视觉测量法，以及随型粗糙面污染受损后基准图像自愈方法。该方法可作为以合作目标位测量对象的单目视觉测量系统的补充，提高测量系统在复杂运行环境中的鲁棒性和稳定性。
在单目视觉相对空间位姿测量场合，通常选用精心设计特征点的合作目标为测量对象。
合作目标上的点、线及标识符精度受控，用于单目视觉位姿测量的精度高。特别是测量对象上安装的合作目标十分明显，若被污染或损坏，维护人员很容易观察到并及时清理和更换，不影响测量工作。合作目标的尺寸和在测量视场中的占比越大，精度越高。同时，在动态测量中，既要确保合作目标始终处于视场内，又要留出测量装置与合作目标相对位置的允许偏差余量，便于单目视觉位姿测量系统在动态运行环境中的使用。
但在实际使用中，仍会因人为操作动作过大或突发情况，出现测量装置偏离合作目标，不能获得完整合作目标图像而无法完成测量。此时，如果充分利用合作目标附近的对象背景测量，获得满足一定使用精度要求的姿态测量结果，将大幅度提高测量装置对各种突发状况的适应能力。
测量对象合作目标附近的背景，具有与背景表面形状随型的特征。特别是在合作目标背景表面涂覆防滑层的应用场合，其成像效果表现为充满画幅的非规则图像。若将这类非规则图像用于位姿解算，需要解决以下两个方面的问题：
（1）随型粗糙表面是非精确加工自然形成的，具有随机性，无法事先获得图像上特征点本身的参数，需要通过与基准图像匹配才能完成位姿测量。而且，理论上精度相对合作目标会有所下降，必须选择合适的算法确保测量精度满足使用最基本要求。
（2）与合作目标相比，背景随型粗糙面的变化不易观察，一旦被污染或损坏，将影响位姿正常解算，必须采取应对措施，对被污染或损坏区域的基准图像进行动态更新。通常，随型粗糙面的污染或损坏是一个逐渐累积变化和扩大的过程，必须逐次隔离历史图像变化，在动态自愈中实现位姿测量。
采用PnP的n点算法，需要特征点在世界坐标系下的位置数据，而随型粗糙面是随机形成的，要逐个获得大量特征点的位置参数不具备工程可行性。因此，宜采用图像特征点与基准图像匹配的方法，即通过光学测量设备捕获实时随型粗糙表面图像，计算采集图像的特征点，得到刻画其特征的数据结构——描述子，与事先存储的基准图像特征点及描述子进行特征匹配，并使用RANSAC（随机抽样一致算法）选取大部分特征匹配点对遵循的图像间单应变换，从而获得相对位姿测量结果。
首先，构建匹配计算的基准图像。在首次实时测量之前，将单目视觉测量装置在超出被测对象合作目标一定范围内的区域运动，通过将相机坐标系与随型粗糙面坐标系的倾斜角、俯仰角及方位角调整到零位，采集获得随型粗糙面基准图像。
考虑到工程实际使用需求，在被测对象合作目标及其周围八个方向连续拍摄9幅图片，并确保一定的图像重叠率。将拍摄的9幅图像进行图像畸变校正和拼接后导入单目视觉测量装置。
图 1 原始基准图像拼接制作示意：（a） 原始图；（b） 拼接图；（c） 基准图
Fig.1 Schematic diagram of reference image mosaic： （a） Original image；（b） Splicing image；（c） Reference image
在形成的最终基准图像上提取特征点/描述子数据，连同随型粗糙面坐标系至基准相机坐标系的坐标转换矩阵，打包写入xml文件。
定义随型粗糙面坐标系为Ot-XtYtZt，实时测量的相机坐标系为Oc-XcYcZc，采集基准图时的相机坐标系为Oc'-Xc'Yc'Zc'。从随型粗糙面坐标系至实时相机坐标系的旋转矩阵定义为，至基准相机坐标系的旋转矩阵为，通过图像匹配计算。
坐标旋转矩阵的计算关系为
| . | （1） |
令c及c′坐标系下的同一特征点的图像坐标分别为p1，p2，则转换关系为
| . | （2） |
单应矩阵H表示为
| , | （3） |
其中，为内参矩阵，为法向量，为相机光心的位移量，d为归一化系数。
采用RANSAC算法，根据公式求解旋转矩阵及位移矩阵。在获取四组解后，按照本文的实验背景，对姿态角及位移向量进行滤波，得到满足要求的唯一正确解。
目前比较成熟的基于斑点检测的特征提取算子有SIF
经过测量比较，选用匹配精度最高的SIFT算子，采用BF策略进行特征点提取及描述子计算。
特征点提取具体方法为：使用高斯函数实现尺度空间上不同图像的卷积，具体采用DOG（Difference of Gaussian）金字塔方式，以寻找极值点。根据疑似像素点周围八个区域点及其近邻尺度相应点比较，若得到相应极值，则作为疑似SIFT特征点。然后再剔除不适合作为特征点的低对比度点及边缘点。
描述子计算具体方法：以提取出的特征点为中心，4×4像点为结构体，统计其梯度方向的分布及梯度幅值在各方向区域内的叠加值。方向空间按照8区间划分，每区间45°，每个结构体使用8维向量描述，形成32维向量，即为该SIFT特征点的描述子。
特征点匹配具体方法：使用暴力（Brute-Force）匹配器进行两幅图像特征描述子之间的匹配，遍历第一幅图像的描述子，搜索在第二幅图像的描述子，返回距离最小的匹配。使用的距离度量采用2范数计算。
基准图像至实时图像的特征匹配点，经过RANSAC计算后可剔除不符合单应模型的一些误匹配点对。但当随型粗糙表面局部被污染或损坏后，相比污染和损坏前的匹配点数量减少，匹配解算精度将会受到影响。此时，若采用最近一次测量图像去修正原始基准图像，完成基准图像自愈修复更新，可避免出现使用累积形成大面积污染和损坏的随型粗糙面图像与原始基准图像匹配解算的情况，进一步提高测量系统的工作可靠性。
图像自愈的基本原理可以概括为，在最新的包含因污染或损坏导致部分区域出现固定改变的、但能基本满足精度要求的随型粗糙面图像上，将特征点提取时未能与基准图像匹配的污染或损坏区域稳定的新特征点，在测量完成后替换基准图像中相应区域原特征点，用于下一次同一区域的测量匹配。
图像自愈的过程实质上就是基准图像持续更新迭代的过程。
图2 随型粗糙表面被污染后的图像匹配示意：（a） 自愈前匹配图像；（b） 自愈后匹配图像
Fig.2 Schematic diagram of image matching after contaminated random rough surface：（a） Matching image before self-healing； （b） Matching image after self-healing
自愈是在粗糙面被污染或破坏时自动激活的算法，应首先研究特征点数量与方位角和水平姿态角精度之间的关系，以量化评估未损坏粗糙面上特征点对于已损坏粗糙面特征点校正的效果。
图 3 特征点个数影响测量测量精度实验曲线
Fig.3 Experimental curve of influence of number of characteristic points on measurement accuracy
从图中可以看出，随着特征点个数从4开始增加，测量精度迅速提高，当特征点数目达到约60个时，测量精度趋于稳定。
显然，在该项实验中，当有效匹配特征点数量不低于60个时，启动自愈算法能够基本满足测量精度要求。因此，必须根据具体情况，设置自愈适用范围，判别污染或损坏的程度启动或终止自愈算法，避免频繁启动自愈或自愈后精度不满足使用要求。
为此，引入自愈系数概念，在将实时图像与基准图像匹配时，采用RANSAC方法选取概率最大单应模型计算匹配特征点对，根据匹配特征点密度情况计算自愈系数。若随型粗糙面污染或破坏超过范围，则计算当前图像的特征点及描述子，并更新基准数据。
设Mk0、Mk1为污染或破坏前后，第k次实时测量图像区域内与基准图像内正确匹配特征点对数。定义自愈系数λ如下：
| , | （4） |
λ反映了图像的污染或破坏程度。根据实际使用需要，设置自愈启动和终止区间，作为启动自愈流程的条件之一。
需要指出的是，视场内粗糙面出现少量污染或损坏时，可以启动自愈后将其纳入基准图像特征点。若粗糙面的污染区域较大，但未达到终止自愈条件，则以剩余特征点的数量进行单应变换的精度下降，而且随着自愈次数的增加，误差逐渐累积，最终出现自愈算法性能衰退的情况。
为消除因累积误差导致自愈失效的情况，在测量流程设计时，充分利用正常运行中基于合作目标测量时机，进行随型粗糙面基准图像的自愈。启动自愈的时机包括以下两种情况：
（1）当能检测到完整的合作目标，且自愈系数超过值时，就对视场内粗糙面数据进行自愈更新。此时可以确保自愈后基于随型粗糙面的测量精度与基于合作目标的测量精度相当。
（2）当检测不到合作目标或检测到不完整的合作目标时，且根据污染和损坏情况计算的自愈系数处于区间时，启动自愈更新。虽然存在出现累计误差影响测量精度的可能性，但连续多次偏离合作目标的概率很小，可忽略不计，一旦后续测量中拍摄到完整的合作目标，即可清除累积误差。
另外，实际运用环境中，还存在随型粗糙表面常常会受到外来物的短时干扰或者入侵情况，此时如果启动自愈，将会造成实时测量图像与基准图像产生较大差异，大幅降低测量精度。此时，应在测量流程设计时增加判据，消除外来物的短时干扰或者入侵的影响。
基于随型粗糙面图像自愈的位姿测量算法实现过程为：
（1）实时采集随型粗糙面图像数据，进行图像畸变校正，计算实时图像关键点位置及描述子数据。
（2）与存储的基准图像关键点及描述子进行特征匹配，解算随型粗糙面坐标系至相机坐标系的单应转换矩阵。
（3）按照存储的基准转换矩阵及测量结果，计算出随型粗糙面坐标系至相机坐标系转换矩阵。反解高精度方位角及水平姿态角，完成参数测量。
（4）测量完毕，判断视场内是否能够检测到完整的合作目标。当能够完成基于合作目标的测量时，且自愈系数超过值，启动对视场内周边随型粗糙面图像的自愈，更新基准图像关键点、描述子及基准转换矩阵。
（5）当视场内未能检测到合作目标或只能检测到不完整的合作目标时，统计特征点有效匹配点数，计算自愈系数，若自愈系数处于区间，则启动自愈。
（6）当检测不到合作目标或检测到不完整的合作目标，且自愈系数超过，则停止自愈更新，提示存在大面积的污染或损坏，系统需要重新回到合作目标上方对附近区域内随型粗糙面基准图像标定。对于处于基准图像边缘的污染或损坏区域，可以用合作目标修复后的部分图像进行传递标定。
随型粗糙面位姿测量流程图见
图 4 随型粗糙面位姿测量流程图
Fig.4 Flow chart of pose measurement of profile following rough surface
需要注意的是，启动自愈后，应将自愈图像上的特征点观察视点转化至以基准图像为中心，进行投影校正。
比较随型粗糙面与精密加工的合作目标位姿测量性能，相机焦距8 mm，高度为500 mm，图像分辨率为1 920像素×1 080像素。合作目标为方形合作目
控制三维转台运动，通过光学手段解算方位角ψ及两个姿态角θ、γ，计算测量精度，结果见
图 5 随型粗糙面上不同测量算法结果对比
Fig.5 Comparison of different measurement algorithms on random rough surfaces
在实时性方面，考虑实际工程应用，选取120个特征点匹配对实施测量，获得的结果更加稳定。比较各种算法耗时，基于120个特征点处理的本文算法运算时间与P4P算法相比约增加5倍，与其他算法相比运算时间处于中等水平，见
图 6 算法处理时间对比
Fig.6 Algorithm processing time comparison
搭建仿真环境，进行基于随型粗糙面测量实验以验证测量算法和自愈算法。随型粗糙面上特征点通过算法自动提取，相机参数与位置关系不变。提供三种场景测量，第一种为正常粗糙面上测量；第二种为人为局部破坏粗糙面，测量装置内部基准数据未更新条件下测量；第三种为粗糙面被破坏后，测量装置自动启动自愈算法，更新基准数据并测量。
为验证算法，设置不同污染共进行6次实验。下面，以其中一组实验结果为例进行说明。
示例实验：在三种场景下各任意提取一组匹配图像对，如
图7 自愈匹配对比图：（a） 破坏前匹配图像,（b） 破坏后匹配图像,（c） 自愈后匹配图像
Fig.7 Self healing matching comparison diagram：(a) Matching image before destruction,(b) Matching image after destruction,(c) Matching image after self-healing
图（a）为未污染的图像匹配对；图（b）为粗糙面被污染后的图像匹配对，能够匹配的特征点大幅减少；图（c）为在更新基准图像后，污染后粗糙面图像能匹配的特征点显著增加。
在三维转台上转动相机，并记录实时测量曲线，结果见
图8 自愈前、后对比实验：（a） 破坏前方位角测量曲线；（b） 破坏后方位角测量曲线；（c）自愈后方位角测量曲线；（d）破坏前俯仰角测量曲线；（e） 破坏后俯仰角测量曲线；（f）自愈后俯仰角测量曲线；（g）破坏前倾斜角测量曲线；（h） 破坏后倾斜角测量曲线；（i）自愈后倾斜角测量曲线
Fig.8 Self healing contrast experiment： (a) Measurement curve before destruction of azimuth； (b) Measurement curve after destruction of azimuth； (c) Measurement curve after self-healing of azimuth； (d) Measurement curve before destruction of pitch；(e) Measurement curve after destruction of pitch；(f) Measurement curve after self-healing of pitch；(g) Measurement curve before destruction of roll； (h) Measurement curve after destruction of roll； (i) Measurement curve after self-healing of roll
定义误差改善比为（自愈前误差-自愈后误差）/自愈前误差×100%。该次实验中，当污染程度即自愈系数为70%时，自愈后与自愈前的方位角误差改善比值为71.96%，即自愈后的方位测量误差减少了71.96%。证明在更新基准图像后，被破坏区域的特征点信息能够用于匹配解算并保持一定的精度。
| 均方根误差/（°） | 均方根误差/（°） | 均方根误差/（°） | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 方位角 | 俯仰角 | 倾斜角 | 方位角 | 俯仰角 | 倾斜角 | 方位角 | 俯仰角 | 倾斜角 | |
| 自愈系数 | 60% | 65% | 70% | ||||||
| 破坏前 | 0.078 | 0.386 | 0.838 | 0.083 | 0.396 | 0.838 | 0.079 | 0.413 | 0.855 |
| 破坏后 | 0.093 | 0.521 | 0.898 | 0.176 | 0.541 | 0.847 | 0.318 | 1.855 | 1.524 |
| 自愈后 | 0.092 | 0.419 | 0.774 | 0.090 | 0.463 | 0.749 | 0.089 | 0.498 | 0.768 |
| 误差改善比值 | 1.30% | 19.65% | 13.86% | 49.04% | 14.27% | 11.49% | 71.96% | 73.14% | 49.59% |
| 自愈系数 | 72% | 75% | 80% | ||||||
| 破坏前 | 0.079 | 0.413 | 0.855 | 0.082 | 0.420 | 0.830 | 0.084 | 0.418 | 0.857 |
| 破坏后 | 0.318 | 1.855 | 1.524 | 4.559 | 1.364 | 2.762 | 2.045 | 1.641 | 6.700 |
| 自愈后 | 0.088 | 0.508 | 0.743 | 0.087 | 0.521 | 0.778 | 0.087 | 0.553 | 0.785 |
| 误差改善比值 | 72.34% | 72.62% | 51.24% | 98.10% | 61.81% | 71.84% | 95.75% | 66.28% | 88.30% |
从表中可以看出，当污染程度即自愈系数为60%时，自愈能力不显著，方位角的误差改善比值仅为1.30%。但随着自愈系数的增加，即粗糙面被破坏或污染程度的增加，自愈算法的自愈能力越来越强，表现为方位角的误差改善比越来越大。当污染程度即自愈系数超过70%后，自愈效果显著。
本文提出对象随型粗糙面的单目视觉测量与自愈方法，解决凹凸不平粗糙面位姿测量及其受损后的自愈问题。
描述了随型粗糙面测量中需解决的问题，详细阐述了随型粗糙面特征点提取与匹配算法和随型粗糙面污染或损坏后的自愈。设计实验室实验对提出的算法进行验证。结果表明：提出的测量和自愈算法可作为基于合作目标算法的有效补充，在粗糙面被破坏或污染后自动激活自愈处理流程。当随型粗糙面图像污染或受损达到70％时，采用自愈处理与未做自愈处理相比，方位角测量误差减少72％以上，验证了基准图像自愈方法的有效性。
实际应用中还必须解决如何有效区分随型粗糙面污染、受损与外来物入侵，以及户外光照、阴影变化的情况，避免误判而频繁错误更新基准图像的问题，探讨运用人工智能技术提高算法对环境的适应性。
References
Feng Xiao-Wei， Xie An-An， Xiao Jian-Mei， et al. Monocular pose calculation of non-coo ration textured object ［J］. Optics and Precision Engineering.冯肖维， 谢安安， 肖健梅，等.非合作纹理目标单目位姿计算［J］. 光学精密工程， 2020（8）：28： 1775-1784. [百度学术]
Xiong Zhi， Xu Huang， Zhang Liu-Gang， et al. Pose estimation of camera based on weighted accelerated orthogonal iterative algorithm ［J］. Infrared and Laser Engineering.熊芝， 许航， 张刘港，等.基于加权加速正交迭代算法的相机位姿估计［J］. 红外与激光工程， 2022， 51（10）：20220030. [百度学术]
Shang Yang， Sun Xiao-Liang， Zhang Yue-Qiang， et al. Research on 3D Target Pose Tracking and Modeling ［J］. Acta Geodaetica et Cartographics Sinica.尚洋， 孙晓亮， 张跃强，等.三维目标位姿跟踪与模型修正［J］. 测绘学报， 2018， 47（6）： 799-808. [百度学术]
Zou Yu， Liang Bin， Wang Xue-Qian， et al. Space target pose estimation based on binary rotational projection histogram ［J］. Optics and Precision Engineering.邹瑜， 梁斌， 王学谦，等.基于旋转投影二进制描述符的空间目标位姿估计［J］. 光学精密工程， 2017， 25（11）： 2958-2967. [百度学术]
Hamel T ， Samson C . Riccati Observers for the Nonstationary PnP Problem［J］. IEEE Transactions on Automatic Control， 2018， 63（3）：726-741. [百度学术]
Wang Tian-Yu， Dong Wen-Bo， Wang Zheng-Yu， et al. Position and orientation measurement system based on monocular vision and fixed target ［J］. Infrared and Laser Engineering. [百度学术]
王天宇， 董文博， 王震宇. 基于单目视觉和固定靶标的位姿测量系统［J］. 红外与激光工程， 2017， 46（4）： 427001-427003. [百度学术]
Qu Ye-Pin， Hou Wang. Attitude accuracy analysis of PnP based on error propagation theory ［J］. Optics and Precision Engineering. [百度学术]
屈也频， 侯旺. 基于误差传播理论的PnP问题姿态精度分析［J］. 光学精密工程， 2019， 27（2）： 479-487. [百度学术]
Wang Peng， Zhou Quan-Tong， Sun Chang-Ku. Study of pose estimation based on multiple feature points topological determination ［J］. Infrared and Laser Engineering. [百度学术]
王鹏， 周权通， 孙长库. 多特征点拓扑确定位姿测量算法研究［J］. 红外与激光工程， 2017， 46（5）： 517001. [百度学术]
Qu Ye-Pin， Liu Jian-Qiang， Hou Wang. Graphics design of cooperative targets on monocular vision high precision measurement［J］. Acta Optica Sinica. [百度学术]
屈也频、刘坚强、侯旺. 单目视觉高精度测量中的合作目标图形设计［J］. 光学学报， 2020， 40（13）： 1315001. [百度学术]
YI Abdel-Aziz， Karara Dr H M， Hauck Dr M，et al. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry［J］. Photogrammetric Engineering & Remote Sensing Journal of the American Society of Photogrammetry， 2015. [百度学术]
Zhang Hui-Juan， Xiong Zhi， Lao Da-Bao， et al. Monocular vision measurement system based on EPNP algorithm ［J］. Infrared and Laser Engineering.张慧娟， 熊芝， 劳达宝，等.基于EPNP算法的单目视觉测量系统研究［J］. 红外与激光工程， 2019， 48（5）： 517001-517005. [百度学术]
Xu C， Xie M. A Robust O（n） Solution to the perspective-n-point problem［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012， 34（7）： 1444-1450. [百度学术]
Lao Da-Bao， Zhang Hui-Juan， Xiong Zhi， et al. Automatic measurement method of attitude based on monocular vision［J］. Acta Photonica Sinica.劳达宝， 张慧娟， 熊芝，等.基于单目视觉的姿态自动测量方法［J］. 光子学报， 2019， 48（3）： 315001. [百度学术]
Li Xin， Zhang Yue-Qiang， Liu Jin-Bo， et al. A Direct least squares method for camera pose estimation based on straight line segment correspondences［J］. Acta Optica Sinica.李鑫， 张跃强， 刘进博，等.基于直线段对应的相机位姿估计直接最小二乘法［J］. 光学学报， 2015， 35（6）： 615001-615003. [百度学术]
Lowe D . Distinctive image features from scale-invariant key points［J］. International Journal of Computer Vision， 2003， 20：91-110. [百度学术]
Bay H ， Tuytelaars T ， Gool L V . SURF： Speeded up robust features［C］// Proceedings of the 9th European conference on Computer Vision - Volume Part I. Springer-Verlag， 2006. [百度学术]
Alcantarilla P F ， Bartoli A ， Davison A J . KAZE Features［C］// European Conference on Computer Vision （ECCV）. 2012. [百度学术]
Alcantarilla P F . Fast explicit diffusion for accelerated features in nonlinear scale spaces［C］// British Machine Vision Conference （BMVC）. 2013. [百度学术]
Rublee E ， Rabaud V ， Konolige K ， et al. ORB： An efficient alternative to SIFT or SURF［C］// IEEE International Conference on Computer Vision， ICCV 2011， Barcelona， Spain， November 6-13， 2011. IEEE， 2011. [百度学术]
Leutenegger S ， Chli M ， Siegwart R Y . BRISK： Binary Robust invariant scalable keypoints［C］// International Conference on Computer Vision. IEEE， 2011. [百度学术]
Rosten E ， Porter R ， Drummond T . FASTER and better： A machine learning approach to corner detection［J］. IEEE Transactions on Software Engineering， 2010， 32（1）：105-119. [百度学术]