网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

偏振三维成像技术的原理和研究进展  PDF

  • 李轩 1,2
  • 刘飞 1,2,3
  • 邵晓鹏 1,2,3
1. 西安电子科技大学 物理与光电工程学院,陕西 西安 710071; 2. 西安市计算成像重点实验室,陕西 西安 710071; 3. 西安电子科技大学 前沿交叉研究院,陕西 西安 710071

中图分类号: O43

最近更新:2021-04-21

DOI:10.11972/j.issn.1001-9014.2021.02.016

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
目录contents

摘要

近年来偏振三维成像技术因具有精度高、作用距离远和受杂散光影响小等特点得以蓬勃发展,但利用目标反射光偏振特性进行法向量精确求解的问题一直没有真正得到解决,成为制约该技术发展的瓶颈。此外,由于目标表面镜面反射光与漫反射光间的相互干扰,造成高精度偏振三维成像实现困难。该综述介绍了偏振三维成像物理机理、目标表面出射光偏振特性,以及偏振三维成像研究进展。最后总结了目前偏振三维成像面临的问题和未来的发展方向。

引言

光电成像技术是人类记录和感知环境信息的重要方式和手

1-2,然而传统光电成像虽是信息获取与记录的过程,但同时也是信息丢失的过程,由于探测器所限,其不仅丢失了光场中相位、偏振、光谱等信息,而且造成物体空间三维形貌信息也无法得到有效探测,造成成像效果受3。鉴于此,依据传统强度探测方式,结合光场多物理量信息解译模式,通过构建物体表面反射光信息与表面形貌之间的函数关系,来实现物体表面三维信息的求解,就成为目前光电成像技术发展中的一个重点和热点。

目前三维成像技术根据成像模式可分为基于光源调制的主动三维成像和基于立体视觉的被动三维成像两

4。基于光源调制的主动三维成像包括时间飞行法(Time of Flight,ToF)、激光雷达三维成像和结构光三维成像。ToF利用光波时空特性进行三维空间的测量,目前已在商业领域广泛应用,但是该技术易受环境光干扰,且受限于信号系统的时间分辨率,故其三维成像精度不5;激光雷达三维成像利用激光测距原理,实现系统-目标微面元距离信息的获取,之后通过机械式扫描或光束偏转的方式实现目标表面三维信息的重建,因此这种三维重建方式在对大目标的三维成像中实时性差,并且由于其机械结构复杂,导致系统体积较大、造价较高,难以实现普及;结构光三维成像技术是将一定规则的编码条纹图像投影到目标表面,通过对拍摄到的轮廓图像进行解码,构建相机平面与投影平面中点与点之间的一一对应关系,并结合相机标定参数实现三维表面的获6,其具有成像精度高的优势,但是该系统需要主动光源照明,对照明光模式依赖强,因此抗环境光干扰能力差,且随着成像距离的增加,编码条纹的精度会随之下降,严重影响三维成像精7。目前,基于立体视觉的被动式三维成像主要包括双目三维成像和基于光场相机的三维成像。双目三维成像技术基于人眼视觉原理,利用三角测距技术构建物体的三维表面轮廓信8,由于其重建精度与相机基线长度成反比,因此在对远距离目标成像时难以实现高精度的三维表面信息获9。基于光场相机的三维成像技术通过在镜头和探测器之间嵌入微透镜阵列,实现光线的方向测定,进而获取被动条件下的三维信息,但与双目三维成像类似,该技术受限于微透镜阵列间的间距,无法实现远距离三维成像并且成像精度较10。然而,伴随着安防监控、深空探测以及目标检测识别等众多领域对远距离、高精度、高维度的目标信息需求越来越迫切,通过深度挖掘和解译光场的多维物理信息,来实现远距离、无损、高精度的三维成像就成为该领域目前主要的发展方向。众所周知,光波的偏振特性信息与目标表面法线间存在函数表征关系,能够直接反映出目标形貌特性。因此,研究建立物体表面反射光偏振特性信息与表面形貌之间的函数关系,能够为实现重建精度高、探测设备简单以及非接触的三维重建技术提供方案。

国内外研究学者从上世纪70年代开始探索利用偏振信息对目标表面进行三维形貌恢复(Shape-from-Polarization

11-15,此后衍生出了一系列偏振三维成像方法。这些方法的核心是利用菲涅尔定律建立反射光偏振特性与目标表面法线方向的函数关系来实现三维形貌重建,但是忽略了反射光类型不同对重建结果的影响。然而,由于自然界中目标表面材质的多样性,表面出射光波偏振特性呈现显著差异,如图1所示。因此,深入分析不同目标表面出射光波的偏振特性,进而获取目标表面三维轮廓信息就成为偏振三维成像技术研究的核心。本文将分别从基于镜面反射光和漫反射光的偏振三维成像基本原理出发,针对求解重建过程中存在的法线方向不确定性问题,综述国内外具有代表性的典型技术方法;并对基于散射光偏振特性的三维成像技术中存在的关键技术问题进行总结,重点分析研究了镜面反射-漫反射分量分离困难、目标绝对深度信息无法获取等问题;最后对偏振三维成像技术未来发展趋势进行了展望。

图1 不同材质目标偏振三维成像

Fig. 1 Polarization 3D imaging of different materials

1 偏振三维成像的原理

由于目标表面微面元的三维轮廓与其法向量之间具有唯一性,因此通过对表面微面元法向量信息的求解,能够实现目标三维轮廓的重

16-17。由菲涅尔定律可知,物体表面微面元法线方向与出射光偏振特性之间具有密切关系,如图218,其中法向量与偏振特性参量的映射关系能够被表示为n=tanθcosφ,tanθsinφ,1。因此通过求解目标出射光的偏振参量,能够得到目标表面微面元法向量信息,实现目标三维轮廓的重建。在实际求解微面元法向量的过程中,需要分别对偏振特性参量:入射角θ和方位角φ进行求解。利用目标表面微面元出射光偏振度P和目标表面反射率信息n,能够实现对入射角θ的估计;同时,当出射光的电矢量振动方向位于入射光平面内时,探测器接收到的光强度值最大,因此通过旋转偏振片,获取对应最大光强度时的偏振片旋转角,进而实现方位角φ的求解,其法向量获取过程如图319。值得注意的是,在基于镜面反射的偏振三维成像过程中,反射光垂直方向的振动分量大于平行方向,而漫反射过程中反射光分量特性正好相反。因此需要对不同类型的目标表面出射光分别进行详尽的分析。

图2 微面元法向量示意[

18]

Fig. 2 Schematic of normal vector[

18]

图3 偏振三维成像过程示意[

19]

Fig. 3 Measurement process of polarization 3D imaging[

19]

1.1 表面出射光偏振模型

根据光的电磁理论,能够得到入射光、反射光和折射光的振幅以及相位之间的关

20。这种关系可用菲涅尔定律表述,将具有矢量方向的平面光波分解为s分量和p分量,如图419。同时,s分量和p分量的反射系数rsrp和透射系数tstp可以被分别定义21

rs=E0rsE0is=n1cosθ1-n2cosθ2n1cosθ1+n2cosθ2rp=E0rpE0ip=n2cosθ1-n1cosθ2n2cosθ1+n1cosθ2ts=E0tsE0is=2n1cosθ1n1cosθ1+n2cosθ2tp=E0tpE0ip=2n1cosθ1n2cosθ1+n1cosθ2 , (1)

其中,n1n2表示不同材料介质的折射率,θ1θ2分别代表反射角与透射角

根据菲涅尔方程,完全非偏光入射到目标表面时会发生光的反射和折射,造成入射光偏振态的改变,对于反射光和折射光其偏振度有明显差异,其分别被表示

22-23

Pr=rp2-rs2rp2+rs2=sin4θcos2θn2-sin2θsin4θ+cos2θn2-sin2θ/2Pt=n2cosθ2n1cosθ1tp2-n2cosθ2n1cosθ1ts2n2cosθ2n1cosθ1tp2+n2cosθ2n1cosθ1ts2=n-1n2sin2θ2+2n2-n+1n2sin2θ+4cosθn2-sin2θ . (2)

由于目标表面出射光在反射和折射状态下的偏振度不同,因此,对光线到达不同类型目标表面入射界面时的状态分析是必要的,这将为后续偏振三维成像过程中针对不同物体表面特性选择合适的重建方法提供依据。1991年,Lawrence B. Wolff对目标表面出射光的类型进行了详细的分类与说明,他分析总结目标表面出射光通常可分为四

16,分别为镜面反射光、漫反射光、体反射光(也可被认为是特殊的漫反射光),以及衍射光。该研究结果为后续目标表面反射光偏振态的分析奠定了理论基础。由于表面产生衍射光反射情况的条件十分特殊,因此在偏振三维成像研究中可以忽略,目前主要研究利用镜面反射光和漫反射光偏振特性,实现目标三维轮廓的重构。不同材质表面的出射光如图524,对于光滑物体表面如玻璃、光滑金属表面等,入射光在物体表面直接被微面元反射成为带有偏振信息的镜面反射光;而当入射光到达石膏、墙面等朗伯体物体表面时,通常认为入射光进入物体内部并经过多次散射,最终透射到空气中并被探测器接收。因此,对于不同表面材质的物体选择合适的成像模型是进行偏振三维成像的基础。

图4 反射光与折射光的s分量与p分量示意[

19]

Fig. 4 The s and p components of reflected and refracted light[

19]

图5 不同材质表面的出射光示意[

24]

Fig. 5 Reflected light from surfaces of different types[

24]

1.2 微面元法向量参数的多值性问题

图2所示,目标表面微面元法向量能够被入射角θ和方位角φ确定,因此,在偏振三维成像技术的研究过程中要获取精确的法向量信息,就需实现对上述两个法向量参数进行精确求解。而根据目标表面材料特性的不同,其相应的反射光偏振特性之间存在差异,因此分别对镜面反射和漫反射偏振特性进行分析是实现法向量精确求解的基础。

由于镜面反射光与漫反射光在物体表面出射时分别遵循反射和透射定律,其相应的偏振度与入射角的关系如式(2)所示。图6

1825分别展示了基于镜面反射和漫反射条件下的偏振度随光波入射角θ的变化特性曲线。从图6(a)中可以清楚的看到,基于镜面反射光的入射角求解过程中,任意一个偏振度值都对应两个入射角θ,分别处在布儒斯特角的两侧,造成入射角求解的不确定性;对于基于漫反射光的入射角θ求取,其偏振度数值在θ=[0°, 90°]范围内单调变化,求解得到的偏振度与入射角θ一一对应。因此在利用目标反射光偏振特性进行三维重建的过程中,消除求解入射角θ时的多值性问题,是实现基于镜面反射光目标三维轮廓重建的关键问题。

图6 微面元反射光偏振度信息与入射角关系变化示意图 (a) 基于镜面反射[

18],(b) 基于漫反[25]

Fig. 6 The relationship between the polarization degree information and the incident angle of the reflected light with different refractive indices (a) based on specular reflection light[

18], (b) based on specular diffuse light[25]

此外,根据马吕斯定

26可知,光强会随偏振片的旋转而变化,求得强度信息I

I=Imax+Imin2+Imax-Imin2cos2θpol-2ϕ , (3)

其中ImaxImin分别表示在旋转过程中得到的光强度最大值和最小值,θpol表示偏振片的旋转角度,ϕ是接收到的强度信息的相位角。在漫反射目标表面,其反射光分量中平行于入射面平面的分量占优,因此当偏振器件的透光轴与入射平面平行时,通过偏振器的偏振光强度最大。图7

27是实际测量得到的基于漫反射光强度随偏振片旋转角度变化的曲线,从图中能够直观的看到,当偏振片旋转角度等于ϕϕ+180°时,光强度I均为最大值,因此求解过程中,Imax与相位角ϕ无法实现一一对应,进而在方位角的求解过程中存在φ=ϕ或者φ=ϕ±π的多值性问题,使得求解得到的法向量信息不具有唯一性,造成目标表面重建的畸变。此外,在基于镜面反射光的三维成像技术研究中,方位角的不确定问题仍然存在,其目标表面光强度变化趋势与图7所示曲线类似。但由于镜面反射光与漫反射光的s分量和p分量特性具有差异性,故在利用镜面反射光进行三维重建中,其方位角的多值性问题可以表示为φ=ϕ±π/2。

图7 光强度信息随偏振片旋转变化[

27]

Fig. 7 Transmitted radiance sinusoid. The variation of light intensity information with the rotation angle of polarizer[

27]

利用反射光的偏振特性能够求得约束法向量方向的两个重要参数,入射角θ和方位角φ,进而能够实现对目标表面微面元法向量信息的求解。在偏振三维成像技术的研究中,如何能够解决入射角θ和方位角φ的多值性问题,是各国科研人员研究偏振三维成像的重点和难点。针对不同反射光类型,研究人员分别提出了多种解决法向量参量多值性问题的方案。本文将分别从基于镜面反射光和基于漫反射光角度出发,综述解决偏振三维成像过程中的法向量参数多值性问题的典型技术和方法。

2 偏振三维成像技术

2.1 基于镜面反射信息的偏振三维成像技术

由菲涅尔方程可知,镜面反射光相比于漫反射光的偏振特性更易被探测且偏振特性表征更显著,因此各国研究人员起初主要利用镜面反射信息的强偏振特性,对金属、透明玻璃等表面材质光滑的目标进行三维成

16。但是,在基于镜面反射光的偏振三维成像研究中,对入射角和方位角的求解存在多值性问题,会引起被测曲面法向量的不确定性。目前国内外研究学者已提出多种约束入射角和方位角多值性问题的方法。

2.1.1 旋转测量法

2002年日本科学家Daisuke Miyazaki采用旋转目标方法,消除了镜面反射光三维成像中存在的入射角多值性问

28。Daisuke Miyazaki假设目标表面光滑并且封闭没有遮挡,利用偏振度数值的不同将目标表面分成布儒斯特角-赤道区域(B-E)、布儒斯特角-南极区域(B-N)和布儒斯特角-布儒斯特角区域(B-B),如图9(a-b)所示。假定B-E区域包含遮挡边界的区域,因此该区域中存在边界点入射角θ=90°的点,通过约束该区域中各点的入射角范围θBθ<90°,实现入射角数值的唯一性确定。对于B-N区域,其中包含有入射角θ=0°的像素点区域,则该区域入射角的约束条件为0°<θθB。对于B-B区域的多值性问题求解,分别采集目标旋转前后的偏振图像,如图828。通过求解目标表面反射光偏振度的一阶微分,实现该区域像素点入射角θ约束条件的确定,属于0°<θθBθBθ<90°,如图9(d)所28。进而整个目标表面入射角数值的唯一解能够被确定。

图8 两次目标信息采集示意[

28]

Fig. 8 The target information acquisition process involves rotating the target at a small angle[

28]

图9 入射角模糊性问题求[

28] (a)偏振度图,(b)根据布儒斯特角划分后的区域图,(c)偏振度曲线图,(d)偏振度的一阶微分曲线

Fig. 9 Solution to the ambiguity of incident angle[

28] (a) degree of polarization, (b) areas divided by Brewster's corner, (c) the relation curve between degree of polarization and incident angle, (d) derivative of degree of polarization

由于该方法不需要获取旋转角的具体数值,因此可以避免对成像系统进行标定。此外,即使反射光偏振度值存在误差,也不会影响偏振度一阶微分结果中对布儒斯特角的判断,所以该方法有较好的鲁棒性。但是由于目标测量过程中需要多次、多角度的信息获取,造成实现过程繁杂。此外,透明物体内部存在光线相互反射的情况,会导致成像结果产生较大误差,因此该方法对凹面物体的重建精度较差。且无法对运动目标进行三维成像。国内长春理工大学的岳春敏、顾国璋等人也进行了这方面的研

29-33,实验结果如图1029

图10 重建结果[

29] (a)透明半球,(b)透明圆台,(c)透明半透镜,(d)-(f)对应其左边目标的三维成像结果

Fig. 10 Results of 3D imaging[

29] (a) transparent hemisphere, (b) transparent frustum of a cone, (c) transparent semi-lens, (d)-(f) 3D imaging results corresponding to the target on its left

2.1.2 可见光、红外双波段测量方法

1995年Mike Partridge分析了反射光和透射光在求解偏振度过程的差异性,发现当目标表面出射光主要从物体内部透射,即出射光为漫反射光时,其偏振度与入射角一一对应。因此,Mike基于目标自身红外辐射特性,利用远红外波段探测器对目标进行探测,实现入射角唯一性的求解。然而该方法由于随机误差和系统误差对探测结果影响较大,不利于后续的进一步处

34。但是,该理论的提出为偏振三维成像在不移动目标的条件下,解决入射角多值性问题提供了解决思路。

之后,日本东京大学的Daisuke Miyazaki提出利用可见光与远红外双波段相结合的方式,实现入射角唯一解的获

35。他为了更有效地探测目标红外信息,利用吹风机对目标表面进行加热,并通过旋转红外偏振片采集36张不同红外偏振方位角图像,实现远红外波段的目标偏振度测量。如图11(a)所35,在远红外波段中目标表面偏振度的变化是单调的,使得偏振度数值与入射角一一对应。然而红外光的偏振度数值非常小,在入射角等于90°附近,其最大只有40%,对于较小的入射角,这一比例更小于10%。因此为了克服普通相机无法进行如此高精度测量的困难,Daisuke Miyazaki采用可见光和远红外光双波段测量的方法,利用远红外波段偏振度与入射角唯一对应的特性,实现对可见光高精度信息探测结果的校正,避免计算过程中的多值性问题,消除了入射角的多值性。但是,由于可见光与远红外光探测方式不同,造成该方法成像系统复杂、成本高,在实际应用中还存在不同波段图像间需要匹配等问题,增加了应用过程中的复杂性。

图11 入射角与偏振度的关系曲线[

35] (a) 红外波段光波,(b)可见光波段光波

Fig. 11 Relationship between incident angle and degree of polarization[

35] (a) infrared light, (b) visible light

2.1.3 漫反射入射角歧义消除方法

1999年O. Drbohlav等人曾提出利用介电球(台球)等光滑目标表面出射光中的漫反射分量进行三维重

36,实现入射角唯一性确定。但是该方法受表面阴影边界附近的互反射作用影响,只能对少数目标进行重建,不具备普适性。基于对远红外波段偏振三维成像技术研究的积累,2003年Daisuke Miyazaki进一步对目标表面漫反射光在可见光波段三维成像技术中的应用进行深入研37。该方法将RGB测得的色彩信息转化到S空间,利用S空间中定义的亮度、色调和饱和度能够直接与目标颜色、漫反射和高光反射等参数构建对应关系的特38,实现目标表面镜面反射光与漫反射光的分离,解决镜面-漫反射同时存在情况下偏振度求解不准确的问题。此外,Daisuke Miyazaki利用统计学的方法对入射角进行修正,实现对不同表面材质折射率的估计,提升了入射角信息求解的准确性。图1237展示了利用该方法分离得到的漫反射分量和三维重建的结果,该技术不仅能对镜面-漫反射光分离,实现目标三维轮廓的准确获取,并且能够通过估计光源方向实现目标色彩信息的渲染,使重建结果更加逼真的。但是该方法仅对彩色图像适用,在实际应用过程中存在一定的局限性。2006年Gary A. Atkinson对基于漫反射光偏振三维成像方法进行了较为系统的分析与阐19,为基于漫反射信息的偏振三维成像技术奠定了理论基础,图1319展示了其求解得到的偏振度、相位角以及法向量信息。此外,国内彭群聂等学者也开展了相关的研39

图12 重建结果[

37] (a) 目标漫反射分量,(b) 渲染后的三维重建结果,(c) 不同视角的重建结果

Fig. 12 Results of 3D imaging[

37] (a) diffuse intensity of the target, (b) estimated shape, (c) estimated shape is viewed from lateral view

图13 光滑的瓷[

19] (a)花瓶,(b)瓮,(c)熊,(d)略粗糙的塑料鸭的灰度图像,(e)-(h)展示了偏振角相位图,(i)-(l)偏振度图,暗区偏振度最高,(m)-(p)微面元法向量图

Fig. 13 Grayscale images of smooth porcelain[

19] (a) vase, (b) urn,(c) bear, (d) slightly rough plastic duck, (e)–(h) phase images showing angle of polarization, (i)–(l) degree of polarization, dark areas have highest polarization, (m)–(p) normal vectors (reduced resolution)

但由于漫反射分量的偏振度数值较低,容易被噪声干扰,对后续法向量求解的精度影响较大。此外,在玻璃、金属等表面光滑的目标出射光中,镜面反射分量远远大于漫反射分量,当漫反射分量趋近于零时,该方法不再适用。

2.1.4 多光谱偏振处理方法

法国科学家Christophe Stolz在2012年提出多光谱偏振处理的方法以解决入射角多值性问

40,该方法在思想上与可见光-红外双波段消除歧义值的方法相似,能够避免在利用漫反射光信息进行入射角歧义性消除过程中存在的噪声、镜面反射光与漫反射光分离等问题的同时,解决多波段系统信息获取时探测系统复杂、价格昂贵的问题。根据柯西定律可知,在可见光波段折射率随入射光波长的增加而下41。然而在入射角与偏振度的求解关系中,折射率是影响其计算结果的参数之一。因此,当入射光波长增大,相应的入射角-偏振度曲线也将向右移动,即布鲁斯特角向更大的坐标方向移动。通过分析不同入射光波段下偏振度随入射角的变化曲线,能够实现入射角多值性问题的消除。图14展示了不同波段下偏振度的变化曲线,利用该差异性实现入射角唯一解的方法如下:(1)分别计算在两个不同波长(折射率)下的偏振度pλ1pλ2λ1λ2);(2)估计不同波段下偏振度的差异性Δp= pλ2- pλ1;(3)如果Δp大于零,则入射角θ=θ1,否则取θ=θ2。图1540,Christophe Stolz对透明目标进行了实验验证,证明了该方法对透明目标能够实现无畸变的三维重建。此外,对于存在局部梯度突变的目标,该方法仍然能够实现准确的重建,为复杂目标表面的偏振三维重建技术研究提供了重要参考。但是该方法需要获取多个波段的强度信息,因此在实际应用中存在成像系统较复杂、能量利用率低等问题。

图14 不同入射光波长下的偏振度变化曲线[

40]

Fig. 14 Polarization curve of different incident light wavelength[

40]

图15 具有局部梯度突变的透明目标重建结[

40] (a)强度图像,(b)偏振度图,(c)三维重建结果

Fig. 15 3D reconstruction of transparent targets with partial high slope[

40] (a) intensity image, (b) degree of polarization, (c) 3D reconstruction result

国内的郝婧蕾和赵永强等众多学者也对多光谱偏振信息进行了深入的研

42-43,提出了一种利用目标多光谱偏振特征同时进行入射角和折射率求解的方法,将多光谱求解目标入射角的思想扩展到非金属目标,实现对高反光无纹理非金属目标的三维重建,拓展了多光谱偏振信息在三维成像技术研究中的应用范围。该方法通过利用柯西色散方程,巧妙地把波长信息引入到入射角与偏振度的关系式中,将传统的入射角求解方程转化为非线性最小二乘问题;并利用光谱和偏振信息,有效实现了目标表面杂散光的分离与抑制,进一步提升了目标三维重建的精度,重建结果如图16所示。

图16 目标表面三维重建结[

42] (a)强度图像,(b)去耀光结果,(c)双目重建结果,(d)多光谱偏振重建结果

Fig. 16 Surface reconstruction of the objects[

42] (a) intensity images, (b) results after remove the highlight, (c) reconstruction results by stereo vision, (d) reconstruction results by multispectral polarization

在基于镜面反射光的偏振三维成像技术研究中,上述介绍了多种入射角多值性问题的解决方案,为入射角多值性问题的消除提供了有效的解决方法,也为后续科研人员的研究提供了理论基础与创新思路。在获取准确的目标表面法向量入射角θ后,如何消除法向量方位角φ的歧义性,就成为实现基于镜面反射光偏振三维成像道路上的最后一个“障碍”。在偏振三维成像技术发展的早期,利用排序法是解决方位角不确定性问题的主要方法。该方法通过假设目标边界处的表面法向量垂直于边界处各点,以此确定方位角方向,并假定目标表面不存在明显“突变”区域,通过将边界处确定的方位角向目标表面内部传播,实现表面方位角歧义值的消

28。之后,Gary A. Atkinson等人也对排序法进行过相应的研19。但是该方法对复杂目标表面适用性较差,此外该方法对于传播算法准确性要求高,增加了偏振三维成像算法的复杂性。因此,更多的研究人员开始考虑通过改变光照条件、结合先验信息等方式,实现方位角歧义性的消除。以下综述了具有代表性的两类方位角歧义性消除技术。

2.1.5 主动照明法

法国科学家Morel提出一种利用主动照明的方式,实现方位角φ不确定性的消

44-46。Morel构建了由四个相互对称的1/8球形子系统组成的半球形漫反射圆顶灯,如图1746。该系统能够独立控制4个子光源,实现对目标从不同方向(东、南、西、北)进行照射。在实现方位角歧义性的消除过程中,子系统分别独立的对目标进行照明,并将获取到的图像分割为NW, NE, SW和SE方向,图1846展示了目标半球图像信息获取的过程。通过比较由东、西方向分别照射后的强度图像,能够得到区分东、西方向的二值图像Ibin1;同样的,能够实现区分南、北方向上的二值图像Ibin2的采集。为了增加普适性,该技术实现的一般过程为:

图17 实验装置示意[

46]

Fig. 17 Experimental diagram[

46]

图18 测量过程流程[

46]

Fig. 18 Acquisition principle of the segmented image[

46]

(1)φ(方位角)=ϕ(偏振角)-π/2;(2)Iquad=2Ibin1+Ibin2;(3)如果Iquad=0,并且ϕ≤0;或者Iquad=1;或者Iquad=3,并且ϕ≥0;那么φ=ϕ+π。

但是在实际操作过程中,由于该方法需要多个LED光源组成阵列,并需要通过对不同方向的光源分别进行调控实现方位角的唯一性求解,因此,该技术实现过程复杂,无法对运动目标的方位角进行校正,且在室外场景不易实现。

2.1.6 多视角观测方法

2017年 Zhaopeng Cui提出了一种多视角偏振三维成像的方

24,在实现对光滑目标表面三维重建的基础上,对目标局部反射率不同的问题也进行了研究,实现了复杂目标表面三维轮廓信息的重建。他通过在不同空间位置架设多台探测设备采集最少三个视角的目标图像信息,并利用经典的运动结47和多视点立48-49方法,恢复相机位置以及高频信息丰富区域的初始3D形状,并将初始3D信息作为目标方位角的先验信息。之后,将利用偏振信息求得的方位角结果与目标先验信息进行逼近,实现高频信息丰富区域的复杂物体表面的入射角信息校正,其方法流程如图1924。此外,Zhaopeng Cui借鉴光度立体视觉技术中等深轮廓跟踪50的思想,将高频区域恢复得到的方位角信息向低频区域扩散,实现低频区域方位角多值性消除。该方法不仅能够解决方位角的多值性问题,而且对镜面反射与漫反射等不同情况下偏振方位角信息的差异性进行了深入的分析研究,实现对具有复杂表面(同时包含镜面反射、漫反射和微表面相互反射情况)的目标进行偏振三维成像。将该方法重建得到的三维结果与其他三维成像方法的结果进行对比,如图20所示。从图20中能够直观的看到利用Zhaopeng Cui提出的方法对目标三维轮廓重建准确,表面无明显畸变,能够实现对具有不同反射率表面的目标进行三维成像。

图19 多视角偏振三维成像方法流程[

24]

Fig. 19 Flowchart of the polarimetric multi-view stereo algorithm[

24]

图20 Zhaopeng Cui[

24]与偏振三[51]和Smith[52]的重建结果对[24]

Fig. 20 Comparison of depth estimation with Zhaopeng Cui[

24], Polarized3D[51] and Smith[52,24]

但是该方法在跟踪过程中需要若干个具有可靠深度的标准点作为深度传播的“种子”,因此当目标表面的特征信息不足以提供多个可靠深度参考点时,该方法就无法有效消除方位角的多值性问题。此外,该算法目前对透明对象的三维重建不适用。

同年,日本东京大学的Daisuke Miyazaki也提出一种基于多视角观测的偏振三维成像技术,实现对黑色目标的三维成

18。他把偏振成像与空间雕刻技术的优点相结合,将空间雕刻技术得到的不光滑三维形状作为目标的先验信息,利用该先验信息实现对偏振三维成像过程中的法向量参数多值性问题进行校正。同时,由于偏振信息的引入,能够弥补空间雕刻技术在三维重建结果中细节纹理不足等缺点,其三维成像结果如图2118

图21 黑色高反光球体三维重建结果[

18] (a)-(b)利用空间雕刻技术得到的三维结果,(c)-(d)利用Daisuke Miyazaki[18]方法得到的三维结果

Fig. 21 3D reconstruction results of target plastic sphere with black color and high specularity[

18] (a)-(b) shape computed by space carving for a real sphere, (c)-(d) shape computed by Daisuke Miyazaki method[18] for a real sphere

国内的平茜茜等人也开展了这方面的研究工

53,他们提出将传统偏振三维成像与双目立体视觉技术相结合的成像方法,实现对表面光滑、细节纹理单一的目标进行三维成像。并且通过对双目立体成像系统标定获取相机系统参数,将偏振得到的图像像素坐标系下的点云数据转化为世界坐标系下的绝对数据,实现目标真实深度信息的测量,结果如图22所示。

图22 三维重建结果[

53] (a)目标光强图像,(b)目标深度信息

Fig. 22 3D reconstruction result[

53](a) intensity image of target, (b) depth estimation of target

2.2 基于漫反射信息的偏振三维成像技术

基于镜面反射信息的偏振三维成像技术在对金属、透明物体进行三维重建时,对光源方向依赖性强,导致易受环境光影响且无法对自然界中的大多数非理想朗伯体进行信息提取和三维重建。近年来,伴随着材料学和新型探测器领域研究的迅猛发展,对偏振信息的探测和解译能力越来越强,尤其是对光场中的弱偏振特

54-56。因此针对偏振漫反射信息的研究受到越来越多的关注。1999年O. Drbohlav等人就曾针对台球等目标进行过基于漫反射信息的三维重建技术研究,但是受光源等因素影响该技术无法被推广使36。在该研究的基础上,之后众多学者对基于漫反射信息的偏振三维成像技术进行了深入研1838-39。在基于漫反射光的偏振三维成像技术中,对方位角信息的精确解译尤为重要。国内外研究人员对基于漫反射光偏振特性的方位角多值性解决方法进行了广泛的研究,本文综述了在基于漫反射光的偏振三维成像技术中,具有代表性的三种精确解译方位角信息的方法。

2.2.1 结合光度立体视觉技术的方位角唯一性获取方法

2007年Gray A. Atkinson提出基于漫反射光的偏振三维成像技

57-58,为了消除偏振三维重建过程中的法向量方位角多值性问题,他采用多光源照明的光度立体视觉校正技术,成像系统示意图如图23(a)所57。已知三个位置固定的光源,分别采集不同光照条件下的目标强度图像,通过比较目标不同区域上接收到不同方向光源强度信息的变化,实现方位角多值性问题的消除。图23(b57展示了从相机方向看向目标的实验过程示意图,具体的方位角唯一性确定过程如下:

if  ϕk<45  then  αk=ϕk  if Ik2>Ik1ϕk+180 otherwise  if  45ϕk<135  then  αk=ϕk  if Ik3>Ik1ϕk+180 otherwise  if  135ϕk  then  αk=ϕk  if Ik3>Ik2ϕk+180 otherwise   . (4)

图23 成像系统示意[

57] (a)成像系统的几何关系,(b)从相机视角观察一个球形目标

Fig. 23 Schematic diagram of imaging system[

57] (a) geometric relationship of imaging system, (b) view of a spherical target object from the camera viewpoint

该方法能够对微面元法向量方位角的多值性问题进行有效校正,其重建结果如图24

57所示,对于表面材质不同的目标,均能有效实现对轮廓信息的三维重构。但是该技术对多个主动光源之间的架设角度,以及光源与目标间的距离有一定要求,在实际测量过程中不易实现。此外,由于粗糙度、互反射和折射率未知,重建三维目标的表面形状与真实目标相比更平坦。

图24 目标表面三维重建结[

57] (a)强度图像,(b)表面形状估计

Fig. 24 Surface reconstruction of the objects[

57] (a) raw images of the test targets, (b) depth estimation of targets

2.2.2 结合阴影恢复法的方位角唯一性获取方法

2013美国路易斯维尔大学的Ali H. Mahmoud提出一种将偏振三维成像技术与阴影恢复法(Shape from Shading, SFS)相结合的三维成像方

59。该方法首先利用阴影恢复法,实现对目标表面整体轮廓三维信息的重建,得到目标深度先验信息。之后,利用携带有真实法向量方向的先验信息,对偏振求解得到的方位角进行校正。Ali H. Mahmoud的方法仅依赖一个视图和一个光谱成像波段,因此该方法在实现偏振三维成像的过程中更简单,成像所需设备也更易搭建,其三维成像结果如图2559所示。但由于阴影恢复法的应用,该方法中需假设目标都是理想朗伯体,以便满足阴影恢复法的假设条件,因此该方法在实际目标的通用性方面存在一定局限,且易受环境中杂散光干扰。

图25 实验结[

59] (a)偏振度相位,(b)漫反射偏振度,(c)强度信息,(d)重建结果

Fig. 25 Experiment results[

59] (a) phase of polarization,(b) degree of diffuse polarization, (c) intensity, (d) reconstructed surface

2.2.3 融合深度图的偏振三维成像技术

2017美国麻省理工学院Achuta Kadambi等人提出一种将Kinect获取的深度图与偏振三维成像融合的方

60-61。与基于光度立体视觉和阴影恢复法相比,该技术能够避免对光源和目标等场景信息的估计和假设,并把光照条件从特殊光源扩展到自然光,实现高精度的偏振三维成像。实验装置如图2661,该成像系统由Kinect和偏振相机(普通单反和线偏振片)构成。该技术首先通过Kinect获取具有真实深度信息的物体表面“粗深度图”,由于Kinect的成像分辨率较低,在重构目标三维轮廓时无法对目标表面细节信息进行有效恢复。因此,Kadambi将偏振三维成像结果中包含有大量目标表面细节纹理信息的结果与“粗深度图”相结合,实现对“粗深度图”表面高频细节信息的恢复,同时也有效解决了偏振三维成像过程中法向量参数不唯一的问题,实现在多种场景下的高精度三维成像。不同场景下的三维成像结果与成像精度分析如图2761。国内的杨锦发、晏磊等人也开展了相似的研62,实现利用更少的偏振图像,进行目标三维轮廓的重构。

图26 成像系统实际装置[

61]

Fig. 26 Imaging system[

61]

图27 不同环境条件下的偏振三维成像结[

61] (a) 利用ToF得到的三维结果,(b)-(d)分别在实验室、局部激光照明以及自然场景下利用Kadambi提出的方法得到的三维成像结果,(e)利用Kadambi提出的方法三维成像结果精度,(f)基于激光扫描三维成像方法得到的结果精度

Fig. 27 Polarization 3D imaging in a range of lighting conditions[

61] (a) ToF Kinect, (b) polarizaiton enhancement indoors, (c) polarizaiton enhancement under disco lighting, (d) polarizaiton enhancement outdoors on a partly sunny, (e) enhanced kinect depth using Kadambi method, (f) laser scanner depth

但是,该方法需要先利用Kinect获取得到“粗深度图”,因此受Kinect的有效探测距离限制,该技术无法对较远距离的目标进行高精度的三维成像。此外,由于“粗深度图”与偏振三维成像结果的分辨率、视场等不同,实际重建过程中需要进行图像缩放与匹配等图像处理,重建过程比较复杂。

3 偏振三维成像技术未来展望

目标表面反射光偏振特性作为一种能够准确反映表面高频三维轮廓特征的固有属性,利用该信息进行三维成像具有高精度、远距离以及非接触等优势。随着偏振三维成像技术进一步的发展与完善,其在地形测绘、文物保护以及安防监控等领域具有越来越广泛的应用,如图28所示。目前,限制偏振三维成像技术大范围应用的主要有以下两个方面:

图28 偏振三维成像应用

Fig. 28 The different applications of polarization 3D imaging

(1)自然界中的大部分物体表面是非理想朗伯体,因此其表面出射光中会同时存在镜面反射光与漫反射光。目前基于镜面反射光的偏振三维成像技术主要应用于玻璃、金属等表面光滑的物体三维成像。而在对自然目标进行偏振三维重建的过程中,目标微面元法向量特性主要由漫反射光分量提供,但是基于漫反射光的偏振三维成像技术中大多假设目标表面是理想的朗伯体,而自然目标表面反射光情况并不单一,通常存在镜面反射分量干扰,并且在某些特殊目标表面的局部区域存在高光,使得该区域的漫反射光信息趋近于零,造成三维成像结果中局部区域畸变。因此,开展基于反射光偏振特性的镜面反射-漫反射光分离技术的研究,是推进偏振三维成像技术走向实际应用的关键一步。(2)在目标表面三维轮廓的恢复过程中,需要对目标表面微面元法线场点云数据进行多重积分,实现目标三维重建。这就造成在没有外界设备辅助的情况下,仅依靠单相机获取得到的目标多维物理量信息无法实现目标轮廓真实深度信息的测量。所以,在不增加设备复杂度的情况下实现目标绝对深度信息的获取与目标镜面反射-漫反射分量的分离都将是未来偏振三维成像研究领域的重点。

针对上述偏振三维成像中亟待解决的关键技术问题,我们也开展了相关技术研究,提出一种当目标表面存在局部高反光区域时的偏振三维成像方

63,通过分析镜面反射光与漫反射光特性,利用基于双色反射模型的反射光分量分离方64-65,实现镜面反射与漫反射光的分离。该方法认为高光像素值是漫反射分量和镜面反射分量的线性组合,其中漫反射分量是入射光经过物体表面的多次折反射后返回物体表面,其光谱成分由物体材质的反射特性决定;镜面反射分量则是入射光线直接在物体表面的反射,其与表面粗糙度、光源方向有关,其光谱成分近似于光源的光谱成分。之后,利用漫反射和镜面反射在最大色度-灰度空间的不同特66,分别实现对镜面反射分量和漫反射分量的估计。进一步,对于局部高光区域中漫反射光分量趋近于零,无法利用漫反射信息进行三维成像的情况,我们采用基于三维轮廓梯度变化的缺失区域估计技术,对该区域信息进行估计填补,目前对该技术进行了初步验证,实现了对表面缺失部分的重建。此外,对于偏振三维成像过程中绝对深度信息的获取,我们提出一种基于单相机标定的偏振三维成像方67,通过对成像系统进行标定,构建世界坐标系与像平面坐标系间的关系,获取目标表面特征点在空间方向上的绝对距离信息,为整体三维成像结果的相对-绝对深度信息的转换提供先验信息,最终实现目标轮廓绝对深度信息的获取。

此外,随着神经网络技术的不断发展,越来越多的研究人员开始研究将深度学习技术应用于物体的三维重建。由于人脸等目标具有特征空间明确,且训练数据容易获取等特点,目前已实现在不同场景下基于深度学习的人脸三维重建,并取得较好的重建结

68-72。因此,除解决上述难点以外,偏振三维成像未来较有意义的研究方向为:(1)如何利用深度学习估计得到的人脸轮廓信息,构建人脸微面元法向量校正模型,实现预测信息与真实测量信息的有效结合,解决基于偏振特性求解得到的法向量参数多值性问题,得到成像精度更高、重建更精确的三维人脸目标;(2)目前大部分基于目标出射光偏振特性的三维成像方法只能实现场景中单个目标的三维成像,如何在不借助辅助探测方法的条件下,通过单探测器实现场景中多个不连续物体的三维重建;(3)随着微纳加工技术的进一步发展,如何提升可见光、红外等波段偏振信息探测的精度,并实现高分辨率的偏振子图像获取,将会对偏振探测的发展产生深远影响。

4 总结

文中首先介绍了基于目标表面反射光偏振信息的三维成像方法,在此基础上对Wolff提出的物体表面反射模型进行详细的介绍。此外,对基于镜面反射光和漫反射光在偏振三维成像过程中存在的入射角与方位角多值性问题进行了分析,并分别对解决入射角与方位角多值性问题的方法进行了综述。目前,在基于镜面反射光的入射角多值性问题消除过程中,基于旋转目标、多相机、多波段的入射角歧义值消除技术,均无法通过一次偏振探测实现入射角唯一性的测量;基于漫反射分量的入射角歧义值消除技术,存在漫反射分量少、需要对镜面分量-漫反射分量进行分离,实现过程复杂;在消除方位角多值性问题的方法中,同样存在多次探测、求解方式复杂等问题。在基于漫反射光的偏振三维成像技术中,目前基本都需要与另一种三维感知技术相结合,获取方位角的先验信息。而这些获取先验信息的方法,也正是限制基于漫反射偏振三维成像技术被广泛应用的主要因素。因此,无论对于基于镜面反射还是漫反射的偏振三维成像技术,进一步研究消除入射角和方位角歧义值的方法都十分必要。此外,对于同时包含有镜面反射与漫反射信息的物体表面出射光,如何利用偏振特性实现两种不同特性信息光的分离,并实现目标绝对深度信息的获取,是偏振三维成像技术未来研究的重要方向,也是其走向实际应用过程中亟待解决的难点。

References

1

Sonka MHlavac VBoyle R. Image processing analysis and machine vision [M]. Cengage Learning2014. [百度学术

2

Zhang DLu G. Review of shape representation and description techniques [J]. Pattern recognition2004371): 1-19. [百度学术

3

SHAO Xiao-PengLIU FeiLI Weiet al. Latest progress in computational imaging technology and application [J]. Laser& Optoelectronics Progress邵晓鹏, 刘飞, 李伟, 等。 计算成像技术及应用最新进展。 激光与光电子学进展2020572): 020001. [百度学术

4

Chen FBrown G MSong M. Overview of 3-D shape measurement using optical methods [J]. Optical Engineering2000391):10-22. [百度学术

5

Fang Y JWang XSun Z Bet al. Study of the depth accuracy and entropy characteristics of a ToF camera with coupled noise [J]. Optics and Lasers in Engineering2020128106001. [百度学术

6

Zhang S. High-speed 3D shape measurement with structured light methods: A review [J]. Optics and Lasers in Engineering2018106119-131. [百度学术

7

Eiríksson E RWilm JPedersen D Bet al. Precision and accuracy parameters in structured light 3-D scanning [J]. International Archives of the PhotogrammetryRemote Sensing and Spatial Information Sciences201657-15. [百度学术

8

Osswald MIeng S HBenosman Ret al. A spiking neural network model of 3D perception for event-based neuromorphic stereo vision systems [J]. Scientific reports2017740703. [百度学术

9

Tippetts BLee D JLillywhite Ket al. Review of stereo vision algorithms and their suitability for resource-limited systems [J]. Journal of Real-Time Image Processing2016111): 5-25. [百度学术

10

Ng RLevoy MDuval Get al. Light field photography with a hand-held plenoptic camera [J]. Computer Science Technical Report CSTR2005211):1-11. [百度学术

11

Kazutada K. A polarimetric approach to shape understanding of glossy objects [C]. International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc1979493-495 [百度学术

12

Saito MSato YIkeuchi Ket al. Measurement of surface orientations of transparent objects by use of polarization in highlight [J]. Journal of the Optical Society of America A1999169): 2286-2293. [百度学术

13

Fisher R B. From surfaces to objects computer vision and three dimensional scene analysis[M].New YorkWiley1989. [百度学术

14

Wallace A MLiang BTrucco Eet al. Improving Depth Image Acquisition Using Polarized Light [J]. International Journal of Computer Vision1999322):87-109. [百度学术

15

Müller V. Elimination of specular surface-reflectance using polarized and unpolarized light [C]. European Conference on Computer Vision. SpringerBerlin, Heidelberg1996625-635. [百度学术

16

Lawrence B WTerrance E B. Constraining object features using a polarization reflectance model [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence1991137): 635-657. [百度学术

17

Sato YWheeler M DIkeuchi K. Object shape and reflectance modeling from observation [C]. Proceedings of the 24th annual conference on Computer graphics and interactive techniques. 1997379-387. [百度学术

18

Miyazaki DShigetomi TBaba Met al. Surface normal estimation of black specular objects from multiview polarization images [J]. Optical engineering2017564): 041303.1-041303.17. [百度学术

19

Atkinson G AHancock E R. Recovery of surface orientation from diffuse polarization [J]. IEEE Transactions on Image Processing2006156): 1653-1664. [百度学术

20

Bass MMahajan V N. Handbook of Optics Volume I Geometrical and Physical Optics Polarized Light Components and Instruments [M]. McGraw-Hill2010. [百度学术

21

Born MWolf E. Principles of optics electromagnetic theory of propagation interference and diffraction of light [M]. Elsevier2013. [百度学术

22

Liu FHan PWei Yet al. Deeply seeing through highly turbid water by active polarization imaging [J]. Optics letters20184320): 4903-4906. [百度学术

23

Liu FWei YHan Pet al. Polarization-based exploration for clear underwater vision in natural illumination [J]. Optics express2019273): 3629-3641. [百度学术

24

Cui Z PGu J WShi B Xet al. Polarimetric multi-view stereo [C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition20171558-1567. [百度学术

25

Atkinson G AHancock E R. Shape estimation using polarization and shading from two views [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence20072911): 2001-2017. [百度学术

26

Zhu H FLi D LS L Ket al. Precise analysis of formation and suppression of intensity transmittance fluctuations of Glan-Taylor prisms [J]. Laser & Optoelectronics Progress2013505): 052302. [百度学术

27

Atkinson G AHancock E R. Recovery of surface orientation from diffuse polarization [J]. IEEE Transactions on Image Processing2006156):1653-1664. [百度学术

28

Miyazaki DKagesawa MIkeuchi K. Determining shapes of transparent objects from two polarization images [C]. Iapr Conference on Machine Vision Applications. DBLP200226-31. [百度学术

29

GU Guo-Zhang. 3D-reconstrution of transparent object based on polarization analysis [D]. Changchun University of Science and Technology顾国璋. 基于偏振分析的透明物体的三维重建. 长春理工大学2008. [百度学术

30

XU Wan-Xing, 3D modeling based on reflectance polarization analysis [D]. Changchun University of Science and Technology胥万幸. 基于反射偏振分析物体三维重构. 长春理工大学2006. [百度学术

31

YANG Jin-HuaDI XuYUE Chun-Minet al. Polarization analysis on reflected light and three-dimensional measurement of object shape [J]. Acta Optica Sinica杨进华, 邸旭, 岳春敏, . 反射光偏振特性分析与物体形状的测量. 光学学报20082811): 2115-2119. [百度学术

32

YUE Chun-MinYANG Jin-HuaLI Zhi-Honget al. 3-D surface reconstruction based on polarization analysis [J]. Journal of Applied Optics岳春敏, 杨进华, 李志宏, . 一种基于偏振解析的三维表面重建方法. 应用光学2008296): 844-848. [百度学术

33

YUE Chun-Min. Reconstruction study of object surface based on polarization analysis [D]. Changchun University of Science and Technology岳春敏. 基于偏振分析的物体表面形状恢复方法研究. 长春理工大学2007. [百度学术

34

Partridge MSaull R C. Three-dimensional surface reconstruction using emission polarization [J]. Image and Signal Processing for Remote Sensing II. International Society for Optics and Photonics1995257992-103. [百度学术

35

Miyazaki DSaito MSato Yet al. Determining surface orientations of transparent objects based on polarization degrees in visible and infrared wavelengths [J]. Journal of the Optical Society of America A2002194):687-694. [百度学术

36

Drbohlav OSara R. Using polarization to determine intrinsic surface properties [J]. Polarization and Color Techniques in Industrial Inspection. International Society for Optics and Photonics19993826253-263. [百度学术

37

Miyazaki DTan R THara Ket al. Polarization-based inverse rendering from a single view [C]. IEEE International Conference on Computer Vision. IEEE2003982. [百度学术

38

Bajcsy RSang W LLeonardis A. Detection of diffuse and specular interface reflections interreflections by color image segmentation [J]. International Journal of Computer Vision1996173): 241-272. [百度学术

39

PENG Qun-NieGAO Hai-FengZHANG Sheng-Weiet al. 3D reconstruction algorithm of texture-less target based on polarization imaging [J]. Electronics Optics& Control彭群聂, 高海峰, 张生伟, . 基于光学偏振成像的低纹理目标三维重建算法. 电光与控制20182512): 49-52. [百度学术

40

Stolz CFerraton MMeriaudeau F. Shape from polarization: a method for solving zenithal angle ambiguity [J]. Optics Letters20123720): 4218-4220. [百度学术

41

Born MWolf E. Principles of optics, 7th (expanded) edition [M]. United KingdomPress Syndicate of the University of Cambridge1999461. [百度学术

42

HAO Jing-LeiZHAO Yong-QiangZHAO Hai-Menget al. 3D reconstruction of high-reflective and textureless targets based on multispectral polarization and machine vision [J]. Acta Geodaetica et Cartographica Sinica郝婧蕾, 赵永强, 赵海盟, . 偏振多光谱机器视觉的高反光无纹理目标三维重构方法. 测绘学报2018476): 816-824. [百度学术

43

ZHAO Yong-QiangYI ChenKong S Get al. Multi-band polarization imaging and applications [M]. Multi-band Polarization Imaging and Applications. SpringerBerlin, Heidelberg201647-71. [百度学术

44

Morel OFerraton MStolz Cet al. Polarization imaging applied to 3D reconstruction of specular metallic surfaces [J]. proc spie20055679178-186. [百度学术

45

Morel OStolz CMeriaudeau Fet al. Active lighting applied to three-dimensional reconstruction of specular metallic surfaces by polarization unaging [J]. Applied Optics20064517): 4062-4068. [百度学术

46

Morel OFerraton MStolz Cet al. Active lighting applied to shape from polarization [C]. IEEE International Conference on Image Processing. IEEE20062181-2184. [百度学术

47

Wu C C. Towards linear-time incremental structure from motion [C]. 2013 International Conference on 3D Vision-3DV 2013. IEEE2013127-134. [百度学术

48

Fuhrmann SLangguth FGoesele M. Mve-a multi-view reconstruction environment [C]. GCH. 201411-18. [百度学术

49

Galliani SLasinger KSchindler K. Massively parallel multiview stereopsis by surface normal diffusion [C]. Proceedings of the IEEE International Conference on Computer Vision. 2015873-881. [百度学术

50

Zhou ZWu ZTan P. Multi-view photometric stereo with spatially varying isotropic materials [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 20131482-1489. [百度学术

51

Achuta KVage TBoxin Set al. Polarized 3D: High-quality depth sensing with polarization Cuesc [C]. In Proc. of International Conference on Computer Vision20153370-3378. [百度学术

52

William A P SRavi R. Linear depth estimation from an uncalibrated, monocular polarisation image [C]. In Proc. of European Conference on Computer Vision2016. [百度学术

53

Ping X XLiu YDong X Met al. 3-D reconstruction of textureless and high-reflective target by polarization and binocular stereo vision [J]. Journal of Infrared and Millimeter Waves平茜茜, 刘勇, 董欣明, . 基于偏振双目视觉的无纹理高反光目标三维重构. 红外与毫米波学报20173604):432-438. [百度学术

54

WEI Zhong-MingXIA Jian-Bai. Recent progress in polarization-sensitive photodetectors based on low-dimensional semiconductors [J]. Acta Phys. Sin. (魏钟铭夏建白. 低维半导体偏振光探测器研究进展. 物理学报)20196816): 163201. [百度学术

55

Kalra ARathkanthiwar SMuralidharan Ret al. Polarization-graded AlGaN solar-blind pin detector with 92% zero-bias external quantum efficiency [J]. IEEE Photonics Technology Letters20193115): 1237-1240. [百度学术

56

Chen BJi ZZhou Jet al. Highly polarization-sensitive far infrared detector based on an optical antenna integrated aligned carbon nanotube film [J]. Nanoscale2020125):11808-11817. [百度学术

57

Atkinson G AHancock E R. Surface reconstruction using polarization and photometric stereo [C]. Computer Analysis of Images & PatternsInternational ConferenceCaipViennaAustriaAugust. 2007. [百度学术

58

Atkinson G A. Surface shape and reflectance analysis using polarisation [M]. University of YorkDepartment of Computer Science2007. [百度学术

59

Mahmoud A HEl-Melegy M TFarag A A. Direct method for shape recovery from polarization and shading [C]. IEEE International Conference on Image Processing. IEEE2012. [百度学术

60

Kadambi ATaamazyan VShi Bet al. Polarized 3DSynthesis of polarization and depth cues for enhanced 3D sensing [M]. SIGGRAPH 2015Studio. 20151-1. [百度学术

61

Kadambi ATaamazyan V AShi Bet al. Depth sensing using geometrically constrained polarization normals [J]. International Journal of Computer Vision20171251-3): 34-51. [百度学术

62

YANG Jin-FaYAN LeiZHAO Hong-Yinget al. Shape from polarizaiton of low-texture objects with rough depth information [J]. Journal of Infrared and Millimeter Waves杨锦发, 晏磊, 赵红颖, . 融合粗糙深度信息的低纹理物体偏振三维重建. 红外与毫米波学报20193806): 819-827. [百度学术

63

Li XLiu FCai Yet al. Polarization 3D Imaging having highlighted areas [C]. Frontiers in Optics. Optical Society of America2019JTu3A. 108. [百度学术

64

Klinker G JShafer S AKanade T. The measurement of highlights in color images [J]. International Journal of Computer Vision198821): 7-32. [百度学术

65

Shafer S A. Using color to separate reflection components [M]. Color. Jones and Bartlett Publishers, Inc. 1992. [百度学术

66

Tan R TNishino KIkeuchi K. Separating reflection components based on chromaticity and noise analysis [J]. IEEE transactions on pattern analysis and machine intelligence20042610): 1373-1379. [百度学术

67

Li XLiu FChen Fet al. A depth information acquisition method through 3D polarization imaging technology [C]. CLEOApplications and Technology. Optical Society of America2019JTu2A. 14 [百度学术

68

Feng YWu FShao Xet al. Joint 3d face reconstruction and dense alignment with position map regression network [C]. Proceedings of the European Conference on Computer Vision (ECCV). 2018534-551. [百度学术

69

Deng JRoussos AChrysos Get al. The menpo benchmark for multi-pose 2D and 3D facial landmark localisation and tracking [J]. International Journal of Computer Vision20191276-7): 599-624. [百度学术

70

Guler R AKokkinos I. Holopose: Holistic 3d human reconstruction in-the-wild [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 201910884-10894. [百度学术

71

Tran LLiu X. On learning 3d face morphable model from in-the-wild images [J]. IEEE transactions on pattern analysis and machine intelligence2019. [百度学术

72

Fan XCheng SHuyan Ket al. Dual neural networks coupling data regression with explicit priors for monocular 3D face reconstruction [J]. IEEE Transactions on Multimedia2020DOI:10.1109/TMM.2020.2994506. [百度学术