网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

对光照变化不敏感的微观高光谱图像木材树种识别算法研究  PDF

  • 王承琨
  • 赵鹏
东北林业大学信息与计算机工程学院,黑龙江 哈尔滨 150040

中图分类号: TP391.4

最近更新:2020-03-12

DOI:10.11972/j.issn.1001-9014.2020.01.011

  • 全文
  • 图表
  • 作者
  • 出版信息
目录contents

摘要

木材往往堆积在室外,在对木材样本采集高光谱图像时往往会受到外界因素(光照、温度、湿度)的影响,从而造成木材树种的误判。为了解决这一问题,本文利用PLS(Pattern Lacunarity Spectrum)和LBP(Local Binary Pattern)对木材横截面的高光谱图像的纹理信息进行了特征提取,而后将高光谱图像的近红外光谱与纹理特征相融合,并以融合后的新特征作为识别的依据,最后使用SVM(Support Vector Machine)和BP(Back Propagation)神经网络两种分类器对木材树种进行了识别,实验表明该算法在无干扰情况下可拥有最高100%的识别正确率效果。为了验证该算法可以在高光谱图像失真的情况下依然可以对木材进行正确的识别,本文仿真了光照变化对高光谱图像的影响,并对比了影响前后的识别正确率,结果显示该算法可以在高光谱图像失真的情况下对木材的树种进行正确的识别,优于传统的和近期主流的木材树种分类算法。

引言

从古至今木材一直是人们生活中必不可少的可再生材料之一。因木材具有重量轻、强重比高、弹性好、耐冲击等优良特征被广泛应用于结构性材料中。又因其环保美观的饰面感在现代家居家饰中备受现代人喜爱。但是由于木材的生长环境和品种的不同,使得木材的成材时间具有很大差异,木材的价格也是判若云泥。在利益的驱使下,便会有不法分子以次充好,给消费者带来巨大的经济损失。为了保护消费者的合法权益,利用方便、准确的智能化方法对木材树种进行识别便成为了大量学者们的研究方向之一。

木材树种识别方法可以分为宏观识别和微观识别两大类。宏观识别是指利用木材的颜色、纹理、气味等特征识别木材的树种。这种识别方法虽然简单,但是往往因为特征的不明显或易伪造相关特征而造成误判。微观识别是指通过木材的微观结构(管孔特征、木射线特征等)对木材的树种进行识别。按照放大倍数又可以将其分为高倍率放大识别和小倍率放大识别。Pan S [1]等人利用高倍率显微镜对木材的横截面切片结构进行了分析,并根据其管孔特征对木材的树种进行了识别,但是这类方法最大的问题在于无法做到无损检测。与其相对的小倍率放大方法不用制作切片样本,可以做到无损检测。Mohd Iz’aan Paiz Zamri[2]等人利用木材微观结构中的纹理特征IBGLAM(Improved Basic Gray Level Aura Matrix)对木材的树种进行了识别,但是该方法在木材横截面纹理较为相似时,无法得到较高的识别正确率。Ibrahim I[3]等人利用木材微观结构中的管孔特征和纹理特征对多种木材做了区分。首先根据管孔大小与数量特征对木材进行模糊粗分类,再将IBGLAM和SPPD(Statistical Properties of Pores Distribution)融合后得到样本特征向量,最后送入SVM分类器进行分类。但是我们通过实验发现,该方法对木材管孔分布、管孔大小均有一定要求,并且只能识别热带树种(温寒带树种管孔分布不均匀,白色管孔不明显)。Yusof R[4]等人利用GA(Genetic Algorithm)对木材横截面的IBGLAM和SPPD融合后的特征做了第一次特征提取,降低了一定的特征维度之后又使用KDA(Kernel Discriminant Analysis)和GSVD(Generalized Singular Value Decomposition)分解对GA提取到的特征向量做了第二次非线性特征提取,最后使用LDA(Linear Discriminant Analysis)对木材进行了树种识别,但是这种方法同样不适用于温寒带树种识别。

上述方法所使用的均是RGB或灰度数字图像样本,但是木材横截面的数字图像特征并不稳定。木材的管孔大小和颜色与树木生长区域的降雨和温度情况有直接关系,木材在空气中放置时间的长短也会影响木材横截面的颜色。另外木材的含水率也会影响木材加工后的颜色(在含水率高的情况下切割木材会导致切割面变黑),这些因素就会导致相同树种的木材样本横截面的颜色特征、管孔分布可能会具有较大的差异。木材样本分类特征的这些种内种间差异混合共存的情况,经常导致后续的分类识别精度下降。因此使用木材横截面的可见光颜色特征并不能有效区分木材的树种类别。相比较来说,木材横截面可见光纹理特征比较稳定,可以用来识别纹理差异较大的木材树种样本。但是,对于具有相似纹理特征的相似树种分类识别,该纹理特征方法将无法得到理想的分类效果。

近几年来,已有大量学者利用近红外光谱对木材树种进行了识别。这类方法与传统的数字图像识别方法相比,具有准确率高、识别速度快、特征相对稳定等优点。OE Adedipe[5]等人使用近红外光谱对红栎(红栎属)和白栎(白栎属)进行了识别。但是近红外光谱不易精准的描述木材横截面某一位置的近红外光谱信息,另外近红外光谱容易受到外界因素的影响导致曲线失真。高光谱图像的出现很好的解决了这些问题,高光谱图像具有“图谱合一”的特点,获取对象的图像纹理特征的同时也可以获取光谱信息。Ballanti Laurel[6]等人便利用高光谱遥感图像对森林进行了树种识别,取得了良好的识别效果,但是目前使用显微高光谱图像对木材进行树种识别的研究鲜有报道。和木材样本的可见光颜色特征比较,高光谱成像得到的木材样本图像的纹理特征和近红外波段的光谱特征都比较稳定,受外界环境因素例如温度、湿度和木材本身属性例如产地、含水率、放置时间等影响较小。这两类特征的有效融合为后续的高精度的木材树种(包括纹理差异的木材树种和纹理相似的木材树种)分类识别创造了条件。

根据学者们的研[7,8],在采集近红外光谱或高光谱图像的过程中,湿度、温度以及光照等因素均会导致光谱的失真。在这些因素之中,影响最为重要的便是光照因素对光谱采集的影响。在工业化生产过程中,为了避免光照的影响,通常使用遮光罩或黑白校验板减少光照对高光谱图像采集的影响。但是在外界环境光照不稳定的情况下(如黑天、白天、阴天、晴天)往往采集3~10个高光谱数据便需要使用校验板校验一次,这样无疑增加了数据采集的复杂度,在采集大量数据时也很难保证所有样本数据不受到外界光照的干扰。使用本文方法可以在一定程度上减少校验板校验次数,也减轻了高光谱成像采集的工作量。

为了解决上述问题,以8种木材的显微高光谱图像为研究对象,首先提出了一种基于图像相似度的高光谱图像降维方法,该方法利用图像与图像之间的相似度,选择了高光谱图像中波段图像最不相似的若干个波段。然后对选择的波段进行图像融合,使用LBP(Local Binary Pattern)和PLS(Pattern Lacunarity Spectrum)提取了高光谱图像中可见光波段图像的纹理信息,该纹理信息并不会随着像素值强度的变化而变化。最后将高光谱图像的纹理信息与近红外光谱段做融合分别送入SVM(Support Vector Machine)和BP(Back Propagation)神经网络分类器,得到了最高100%的识别正确率。为了验证其算法能够在光照不定的情况下依然拥有良好的识别正确率,根据光照模型仿真了光照对高光谱图像的影响。经测试,在光谱曲线因光照失真较大的情况下依然可以得到最高100%的识别正确率。为了能够进一步验证本文的算法,我们还对比了三个纹理相似树种的识别情况,结果显示这三个树种的样本可以被本文算法所区分。除此之外我们还使用本文所述方法和文献中的多种方法做了对比,最终发现该算法识别正确率高于文献中的其它方法。整体算法流程请参考图1

图1 木材树种分类处理的整体流程图

Fig.1 the overall flow graph of our wood species classification processing

1 实验数据采集

所有数据采集均使用了美国SOC公司生产的SOC710VP高光谱成像仪,该成像仪的光谱范围为372.53 ~1 038.57 nm,共计128个波段,光谱分辨率为5.2 nm。拍摄到的显微高光谱图像尺寸大小为200×200×128

以8种木材横截面的高光谱图像为研究对象,具体木材样本资料见表1。每种木材共有60块样本,这些样本均来自于不同树木。为方便高光谱图像的采集,需要对样本进行加工,其方法如下。

表1 样本木材的详细资料
Table 1 the detailed document of our wood species samples
NumberEnglishLatinNumberEnglishLatin
1 American red oak Quercus rubra 5 Teakwood Dicorynia guianensis Amshoff
2 Merbau Intsia bijuga 6 Golden SilkTeak Tectona grandis L.F.
3 Limba TerMIMnalia neotaliala Capuron 7 Birch Betula platyphylla
4 Safflower Pear Pterocarpus sovauxii Tub 8 Camphorwood Cinnamomum camphora

首先需要将木材切割成若干个长与宽均为20 mm的条状样本,这些条状样本的侧面是木材的弦切面或径切面,顶面和底面是木材的横截面。然后使用圆盘锯将这个条状样本切割成若干个高度为30 mm的小长方体,切割时要注意其横截面平滑无毛刺,最后制作出的样本长方体尺寸为20×20×30 mm 

这样每种木材就会产生60堆样本,每堆样本小木块若干,然后从每堆样本中随机选取一个,共计60个。将这60个小木块中的前48个作为训练集,其余的12个作为测试集。在选择样本时尽量挑选木材年轮与小长方体横截面的长与宽垂直或平行的样本。最后使用SOC710VP高光谱成像仪和显微镜对这些选择出的样本采集高光谱图像,显微镜放大的倍数为40~50x图2是采集到的样本横截面的数字图像。

图2 8种样本木材的微观图像(a) 美国红橡(b)印尼菠萝格(c)非洲卡斯拉(d)红花梨(e)南美柚木(f)水煮柚(g)桦木(h)香樟木

Fig.2 the microscopic images of our 8 wood species (a) American red oak; (b) Merbau; (c) Limba; (d) Safflower Pear; (e) Teakwood; (f) Golden SilkTeak; (g) Birch; (h) Camphorwood

值得强调的是,该算法对木材横截面是否具有管孔结构以及管孔的大小并无要求。图2中的美国红橡、印尼菠萝格、非洲卡斯拉、南美柚木管孔较大;红花梨、水煮柚、香樟木的管孔较小;桦木属于北方树种,木材管孔更小。另外由于一些木材的管孔较为分散(如红花梨),高光谱图像样本中不一定含有管孔结构。以上这些因素均不会影响该算法的正常应用。

2 方法与分析

普通灰度数字图像可以看成是一个M×N的二维矩阵,彩色数字图像可以看成是一个M×N×3的三维矩阵,而高光谱图像因具备大量波段,可以看成是一个M×N×L的三维立方体,即长为M,宽为N,高为L。图3是采集到的一个样本的高光谱图像。高光谱图像的每一个像素点都对应着一条长度为L的光谱曲线。

图3 高光谱图像示意图(a)高光谱图像,(b)高光谱图像所对应光谱曲线)

Fig.3 hyper-spectral exhibition graph (a) original hyper-spectral image; (b) the corresponding spectral curve for one pixel)

2.1 基于图像相似度的高光谱波段选择方法

我们在处理高光谱图像数据之前,通常要对高光谱图像做降维处理,目前高光谱图像降维主要分为特征提取和特征选择。常用的特征提取方法主要包括:主成分分析PCA(Principal Component Analysis)、线性判别分析FLD(Fisher Linear Discriminant)、最小噪声分数法MNF(Minimum Noise Fraction)等若干降维方法。这些方法都需要使用数学变换的手段压缩高光谱图像,提取高光谱图像中的主要信息,但是这会改变原始图像像元的亮度值,从而丢失原始图像所携带的空间信息。另一种是基于非变换的特征选择,特征选择又称波段选择,即从高光谱图像的所有波段中选择出波段子集。最常用的方法便是自适应波段选择ABS(Adaptive Band Selection)。

为了能够充分考虑木材高光谱图像的图像特征,提出一种基于图像相似度的波段选择方法,该方法与传统的ABS相比,在使用后续方法提取特征值进行分类时具有一定的优势,这一结论会在第3节中得到验证。

图像相似度是指两幅数字图像相近的程度,常用的图像相似度衡量方法主要包括:频率分布直方图法FDHM(Frequency Distribution Histogram Method[9]、结构相似性SSIM(Structural Similarity Index Method[10]法、信息量法MIM(Mutual Information Method[11]以及图像指纹法DHashM(Different Hash Method) [12]。这些方法广泛的应用于图像检索和图像质量检测中,FDHM、SSIM、DHashM其值越大说明两幅图像越相似。MIM则相反,其值越小反而越相似。

图4所示的是三幅木材横截面的灰度图像。表2中给出了三幅图像在不同相似度衡量方法下的相似度数据,从数据中可以看出同种木材之间的图像相似度要大于不同种木材的相似度。

图4 木材横截面所对应的灰度图像(a)美国红橡,(b).美国红橡,(c)南美柚木

Fig.4 grey-level images of wood cross sections (a) American red oak,(b) American red oak, (c) Teakwood

表2 图像相似度对比
Table 2 image similarity comparisons
MethodFDHMSSIMMIMDHashM
图4a,图4b 0.9098 0.1703 0.0294 0.5350
图4b,图4c 0.8468 0.1264 0.0320 0.5057
图4c,图4a 0.8243 0.1148 0.0320 0.4976

采集到的木材高光谱图像拥有128个波段372.53~1 038.57 nm,但是由于高光谱图像只有在可见光波段上具有良好的纹理特征,本文中的实验只保留了第19至70波段466.92~734.39 nm,共计52个波段的信息。

图5中给出了美国红橡横截面高光谱图像中第44个波段(598.03nm)的灰度图像与其余波段的灰度图像之间的相似度关系。由于SSIM的相似度都趋近于1,特此单独列出了坐标系放大的情况下相似度变化的走势。通过图5我们可以清晰的发现,无论采用哪种相似度衡量方法,第44个波段的灰度图像与其相邻的几个波段的灰度图像最为相似。纵观整个高光谱图像,我们发现大多数波段也满足这一结论,即高光谱图像中的某一波段所对应的灰度图像,与其相邻波段所对应的灰度图像最为相似。

图5 高光谱图像中某一波段与其余波段的相似度对比 (a)SSIM相似度对比,(b)FDHM、MIM和DHashM相似度对比

Fig.5 similarity comparisons for one wavelength compared with other wavelengths in wood hyper-spectral image (a)SSIM comparison, (b)FDHM, MIM, DHashM comparisons:a b

根据上述结论,提出了一种基于图像相似度的高光谱波段选择方法,该方法具体描述如下:设波段选择后留下的高光谱波段数量为m,高光谱图像为X=x1,x2,,xi,xnn=52,其中xi代表高光谱图像n个波段中的第i个波段所对应的灰度图像,其尺寸大小为200×200。利用上述求解图像相似度的方法,计算高光谱图像中每一个xixi+1之间的相似度,得到相似度向量s=s1,s2,s3,,sn-1,寻找到相似度向量中s的最大值sm(使用MIM时应寻找最小值),将高光谱图像X中的第m个波段删除掉,此时X中的波段数量应为n-1。重复上述过程,不断去除波段,直到X中的波段数量为m+1时停止循环。最后将X中的最后一个波段删除掉,得到降维后的高光谱图像Ẋ表3中是美国红橡的一个样本在使用不同方法所得到最佳的10个波段组合。

表3 不同波段选择方法所选择出的最佳波段组合
Table 3 the selected best wavelength combinations with different schemes
12345678910
FDHM 3 9 18 28 29 35 46 47 48 49
SSIM 9 17 18 28 29 35 46 47 48 49
MIM 1 2 3 5 7 14 17 21 23 49
DHashM 9 17 18 28 29 35 46 47 48 49
ABS 1 9 11 12 13 17 46 47 48 52

通过表3可以看出,使用FDHM、SSIM、DHashM这三种相似度评价方法所选择出的波段组合兼顾了整个波段,而使用MIM相似度评价和ABS波段选择方法的结果波段集中在前几个波段当中。

2.2 基于LBP和几何分形的高光谱图像纹理特征提取

介绍如何使用LBP和PLS提取图像的纹理特征,在介绍纹理特征提取之前,先对2.1节所提取出的多个波段图像做图像融合,使用像素级融合中的小波变换方法对多波段图像进行融合,具体方法如下。

设波段选择后留下的m个波段图像分别为{X1,X2XjXm},其中Xj的图像尺寸大小为200×200。由于各个波段图像均来自于同一幅高光谱图像,所以并不需要对上述图像进行图像配准。对每一幅图像做小波变换,分别得到每一图像的低频小波系数{A1,A2AjAm}和高频小波系数{H1k,H2kHjkHmk} k1,2,3高频小波系数中包含了水平高频系数、垂直高频系数以及对角线高频系数。然后按照式(1)的方法进行融合,得到新的小波系数A'H'

A'=1mA1+A2+Aj+AmHk'=Hjk ,s.t. Hjk=max H1k,H2kHjkHmk  (1)

利用得到的新小波系数进行小波逆变换,得到融合后的数字图像X'。该图像的尺寸大小依旧为200×200,本文选择的小波基为“haar”,分解层次为4层。图6m=5时的图像融合结果,从图6中可以看出,融合后的图像汇聚了前五幅图像的所有纹理信息。

图6 波段选择图像融合结果(a)~(e)分别为波段选择留下的5个波段,(f)代表融合后的图像

Fig.6 image fusion after wavelength selection (a)~(e) are selected 5 wavelengths, (f) is the fused image

接下来我们就可以使用LBP和PLS对融合后的图像进行纹理提取了。LBP是一种有效的纹理描述算子,使用的等价LBP+旋转不变模式的LBP对图像纹理进行描述,该方法具有亮度不变性以及旋转不变性,其具体描述如下:

设融合后的图像为IM×N,M=200,N=200,圆域LBP定义为式(2[13]:

LBPP,Rxc,yc=p=0P-1sIp-Ic*2p (2)

其中p表示以R为半径的圆形区域中总计P个采样点中的第p+1p0,P-1个采样点,Ip代表邻域内第p+1个像素点的灰度值,Ic代表中心像素点的灰度值。其中sx代表的含义如式(3):

sx=1,         x00, otherwise (3)

根据上述描述定义旋转不变LBP为式(4[14]

LBPP,Rrot=min{RORLBPP,R,i|i=0,...,P-1} (4)

其中RORx,i代表将x循环位移i位。使用旋转不变的LBP最大的问题在于模式太多,所以我们还要降低模式数量,在此基础之上,使用等价旋转不变LBP模式。

等价LBP是计算一组二进制数从前到后0,1的跳变次数(例如0000,跳变0次,0101,跳变3次,0011跳变1次),将跳变次数超过两次的记为一类,首先按式(5)定义函数U,该函数的作用是计算一组二进制数跳变的次数。

ULBPP,Rrot=sIP-1-Ic-sI0-Ic+p=1P-1|s[Ip-1-Ic]-s[Ip-Ic]| (5)

在旋转不变基础上加上等价LBP后定义如式(6[15]

LBPP,Rui+rot=LBPP,Rrot         ULBPP,Rrot2P+1                    otherwise (6)

图7是对图6(f)中的图像做上述复合LBP算法运算所得到的结果。

图7 复合LBP结果(a) P=4,R=1,(b) P=16,R=5,(c) P=16,R=3,(d) P=8,R=5

Fig.7 the extraction results by using composite LBP

最后,我们要使用PLS提取图像的纹理特征,该算法是借助分形思想,利用分形维数表征一幅图像的复杂程度,其本质思想是图像频数分布直方图的延[16]

第一步,我们先计算一幅图像的多个LBPP,Rui+rot图像,这些图像是根据不同的P,R得到的。根据文[17]所述,PR的值只有少量的值可以良好的表示图像的纹理信息,本文只选择{4,1,16,2,16,3,8,5,16,5}五组数据。将这五组的LBP图像设为J1J2J3J4J5,即:

Ji=LBPP,Rui+rotI,i{1,2,5} (7)

利用上式计算出的Ji中像素值均为整数,接下来按式(8)将每一幅Ji二值化,产生若干个二值图像。

Bi,jx,y=1,Jix,y=j0,otherwise  i1,2,,5 (8)

第二步,我们定义长为r{21,22,23,242m}2mM&&2mN的正方形小窗口,将正方形小窗口铺满整个Bi,j,以小窗口内的点数p[0,r2]为横坐标,以整幅图像中小窗口内的点数为p的小正方形数量为纵坐标,建立频数分布直方图,并将该频数分布直方图中每一个p值所对应的频数存入向量yr中。这里要注意的是每一个r就会对应一个频数向量,故yr的数量为m

第三步,定义以尺度为r的间隙度(Lacunarity)为式(9):

Λryr=E[yr2]Eyr2 (9)

根据上述定义,我们可以得到mr, Λryr点。使用这些点做最小二乘法估计,我们可以将上式表示为:

ln Λryr=kln r+b (10)

其中k,b代表根据最小二乘法得到估计直线的斜率与截距,将这些看成一组数据k,b,按照顺序,重复上述过程可以得到每一幅二值图像Bi,jk,b,将这些数据串联成一组数据构成一条曲线,这条曲线即是提取到的高光谱图像纹理特征。图9图8中6个样本所对应的特征曲线。从图9中可以看出,每一种木材的特征均被详细区分开来。

图9 样本特征曲线

Fig.9 wood sample’s feature curves

图8 木材树种样本图像(a)和b是美国红橡,(c)和(d)是红花梨,(e)和(f)是非洲卡斯拉

Fig.8 wood species sample images (a) and (b) are American red oak; (c) and (d) are Safflower Pear; (e) and (f) are Limba

2.3 光照对高光谱图像采集的影响与特征融合

湿度、温度以及光照的变化,往往会对高光谱图像的采集带来一定的影响。经研究发现,在这些外界影响的条件之中,光照对分类正确率的影响最为明显。室外环境中,光照强度与时间、云层厚度、季节、湿度、温度众多因素相关,这就导致光照变化呈现一定的随机性。

太阳辐射主要集中在可见光部分,波长小于400 nm和大于760 nm的部分较[7],有学[7][8]发现光照对光谱的影响主要集中在400 nm到900 nm之间,这是因为空气中氧气等对光的倍频反应导致光谱曲线受影响范围向右移动了100 nm左右。另外光谱失真程度随着光照强度的增加而增加,整体影响呈正态曲线变化。

使用正态分布曲线与原始图像相加,致使光谱曲线失真,以模拟光照对光谱线的影响。正态分布曲线具有四个参量分别是对称轴u,方差σ,强度I以及噪声强度PSNR(Peak Signal to Noise Ratio)。根据文[18],设随机参数a=RANDa0,1,并令u=650+100*a-0.5σ=200+50*a-0.5I值代表光照强度,PSNR=50。注意这里的a值始终是动态变化的。图10中给出了不同I值下光谱曲线失真的情况。

图10 不同光照强度下的光谱曲线对比(PSNR=50u=650σ=200

Fig.10 spectral curve comparisons with different illumination intensity

由于光照对光谱的影响主要集中在可见光波段附近,将整个高光谱图像的光谱分割成两个部分,即可见光波段466.92~734.39 nm和近红外波段794.80~1 038.57 nm这两个部分,光照的影响主要集中在可见光波段,而这一部分我们已经使用2.2节的方法提取了相关的纹理特征,纹理特征在光照影响下是不变的。另一方面光照影响对近红外部分的影响并不大,所以我们继续使用该部分波段的光谱信息作为特征信息。对近红外部分的光谱信息做SNV(Standardized Normal Variate)处理后将其串联接入纹理特征后作为新的特征向量。经实验验证该方法不仅具有良好的识别正确率,同时也能够在光谱失真的情况下获得良好的识别正确率,图11中所表示的是两种特征值串联在一起的新特征值。

图11 纹理和光谱特征串联

Fig. 11 textural and spectral feature connection

3 实验与结果

在本节,我们将使用SVM和BP神经网络分类器,对上一节中所述的算法进行实验,主要包含五个部分。第一个部分:主要讨论本文所述算法的执行时间效率。第二个部分:主要分析不同的波段选择方法对识别正确率的影响。第三个部分:主要与经典和最新的木材树种横截面微观识别算法进行对比。第四个部分:主要探究在不同强度的光照下本算法的正确率变化。第五个部分:主要是讨论纹理相似树种在本文算法中的识别情况。

3.1 算法的执行时间

在本节我们将给出上述所有算法的具体运行时间,本实验所用计算机硬件配置为:CPU:Intel I7-6700,内存:8G,显卡:AMD Radeon R7 200 使用机械硬盘容量为1TB。表4中给出的是上述降维算法中,维度降至10维时各方法所需要的执行时间以及算法中主要步骤的执行时间。

表4 降维算法的执行时间
Table 4 the execution time for dimension reduction schemes
MethodFDHMSSIMMIMDHashMABSImage FusionLBPPLS
Time(s) 0.945 2.084 0.586 2.185 0.185 0.315 0.738 2.023

表4中可以看出使用ABS降维方法执行速度最快,DHashM、SSIM执行速度最慢。FDHM与MIM方法执行速度适中,另一方面计算PLS所花费的时间也比较多。表5中给出了各个算法处理一个样本所需的时间。

表5 处理一个样本的算法时间
Table 5 time requirement for processing one sample with different schemes
MethodPLS+LBP
FDHMSSIMMIMDHashMABS
Time(s) 3.873 4.174 3.715 4.212 3.613

表5中可以看出处理一个样本花费时间最长的是以DHashM作为降维方法的木材树种识别方法,而使用ABS作为降维方法的木材树种识别方法耗时最短。

3.2 不同波段选择方法对识别正确率的影响

在本节我们将使用SVM和BP神经网络分类器,验证上述多种波段选择方法在纹理特征识别中的正确率情况。首先我们先不考虑光谱信息,只利用纹理特征对木材进行识别(以下简称TF(textural features))。图12中给出了以FDHM、DHashM、SSIM、MIM作为相似度评判指标的波段选择方法在选择不同波段数量下的识别正确率。同时用虚线给出了使用ABS方法进行波段选择的识别正确率。由于BP神经网络每一次的识别正确率会有一定的差异,所以重复训练BP神经网络25次,以25次的平均正确率作为识别正确率。

图12 多种波段选择的识别正确率(a.SVM分类器,b.BP神经网络分类器)

Fig.12 wood recognition accuracy with multiple wavelength selections (a. SVM classifier; b. BP neural network classifier):a b

图12中可以看出,在使用SVM分类器时,所提出的基于图像相似度的波段选择方法比ABS波段选择方法正确率高出5%左右,而使用BP神经网络作为分类器时提出的波段选择方法高于ABS方法正确率大约3%左右。

表6中给出了上述各种波段选择方法的最高识别正确率所对应的波段数量。DHashM在波段选择数量为3时得到最高识别率100%,MIM波段选择方法识别率最低。在使用BP神经网络作为分类器时,FDHM的分类正确率最高。

表6 最高识别正确率
Table 6 the best classification ratio for different schemes
SVMBP
Method Number Accuracy Number Accuracy
FDHM 5 98.95% 6 96.42%
DHashM 3 100% 3 95.81%
SSIM 4 97.91% 10 96.13%
MIM 3 90.62% 3 92.24%
ABS 8 95.83% 7 94.91%

从波段选择来看,并非波段选择数量越多,识别正确率越高。反而在融合某些波段后识别正确率不升反降。但是使用单个波段图像也不会得到较高的识别正确率,图13中给出了使用高光谱图像单个波段的LBP+PLS特征下的识别正确率。从图13中可以看出,在高光谱图像的128个波段中,只有在波段(450~900 nm)之间拥有较好的识别正确率。故对高光谱图像降维后,如果不能选出高光谱图像中纹理信息较为丰富的波段对其进行融合是不能得到较好的识别正确率的。

图13 使用单波段图像的识别正确率

Fig.13 wood species recognition accuracy by using single wavelength image

接下来我们来看一下将高光谱图像的纹理信息和近红外波段融合(以下简称FF(Fusion Feature))后的识别正确率,图14中给出了其识别结果。

图14 特征融合后的识别正确率(a)使用SVM分类器,(b)使用BP分类器

Fig.14 wood recognition accuracy with feature fusion (a)SVM classifier,(b)BP neural network classifier:a b

图14中可以看出,FF在SVM分类器中识别正确率均为100%。在利用BP神经网络进行识别时,使用ABS和MIM的波段选择方法的正确率依然低于使用FDHM、DHashM、SSIM的正确率,但无论使用哪一种方法正确率均接近于100%。通过上述分析可以得到使用融合后特征识别正确率要优于只使用纹理信息进行识别的正确率。

3.3 与其他文献方法的比较

在本节我们将本文的算法与经典算法ASC(Average Spectral Classification),PCA+GLCM以及文献[2,3,4]三种最新算法做正确率对比。ASC算法大致思想是对高光谱图像上所有像素点所对应的光谱取均值其目的在于得到整幅高光谱图像的平均光谱。PCA+GLCM(Principal Component Analysis + Gray-Level Co-occurrence Matrix)的主要思想是对高光谱图像做PCA降维,提取第一主成分所对应的灰度图像,并对此灰度图像提取其GLCM纹理特征。文献[2,3,4]算法详见参考文献,这里不再赘述。

3.3.1 算法时间比较

在本小节我们将讨论不同算法的运行时间,表7中给出了以上这些算法处理一个样本所花费的时间。

表7 各个算法所需花费时间
Table 7 time requirement for different algorithms
MethodTime(s)MethodTime(s)
ASC 0.305 Literature 2 IBGLAM 0.315
PCA+GLCM PCA 0.295 Literature 3 IBGLAM 0.315
GLCM 0.232 SPPD 0.011
Total 0.535 Total 0.415
LBP+PLS 3.613~4.212 Literature 4 GA(once) 5.824
KDA/GSVD 0.460
Total(100 times) 596.251

表7中可以发现耗时最多的是文献4的方法,该方法需要使用遗传算法对特征向量进行降维,其运行时间和循环次数有关,该表中给出的是循环100次所需要的总时间。另一方面耗时较少的是ASC、PCA+GLCM、文献[2]和文献[3],这四种算法处理一个样本的时间都在1秒以内。

3.3.2 算法正确率比较

在本小节我们将对比各个算法的识别正确率(最高),由于文献[3]和文献[4]中都涉及特征的融合和特征的优化,我们将详细的讨论各个算法的识别正确率。表8中给出了各个算法的识别正确率。

表8 各个算法的识别正确率
Table 8 the classification ratio for different schemes
MethodAccuracyMethodAccuracy
ASC 91.67% literature 3 SPPD 73.95%
PCA+GLCM 72.91% SPPD+IBGLAM 91.67%
literature 2 89.58% Fuzzy+SPPD+IBGLAM 56.25%
LBP+PLS TF 100% literature 4 GA 82.29%
FF 100% GA+KDA 51.04%

表8中可以看出本文算法的识别正确率可达100%,是所有方法中识别正确率最高的。其次是文献[3]中SPDD和IBGLAM特征融合后的正确率,ASC正确率以及文献2的识别正确率。识别正确率偏低的是PCA+GLCM和文献[3]中的模糊识别以及文献[4]的GA/KDA识别。

通过实验我们发现按照文献[3]中的方法使用模糊分类方式进行识别,识别正确率不升反而会大幅度下降。造成这一种现象的主要原因是因为本文所使用的8种木材有一部分是温带木材,管孔分布并不像文献[3]中的热带木材样本那样有规律,温带木材管孔通常较小,但也有可能因季度雨量充足造成某些管孔较大,使得管孔大小分布并不均匀,从而使得前期模糊预分类极易造成分类出错。虽然文献4中使用KDA/GSVD将非线性特征转换为线性特征,但是LDA很容易出现欠拟合导致分类精度大幅度下降。

3.4 光照对识别正确率的影响及校正模型对比

在本小节我们将使用该算法对已经受到光照影响的样本进行树种分类识别,同时也使用了S/B(Slope/Bias[19]和DS(Direct Standardization[20,21]两种传递模型对受到光照影响后的样本进行了光谱校正,并给出了校正后的正确识别率。需要说明的是,我们只对测试样本加入了光照的影响,原因在于训练集样本我们是有条件在测试条件较好的室内完成的,图15是使用ASC算法得到的树种分类正确率。

图15 光照强度对识别正确率的影响

Fig.15 effect of illumination intensity on recognition accuracy

通过图15可以明显的看出未进行校正的光谱曲线并不能良好的区分木材树种,使用S/B传递模型校正光谱的效果并不明显,这主要是因为S/B是一种线性校正方法,而光照的影响是一种非线性的复杂影响。使用DS传递模型基本上可以修正光照对光谱的影响,但是传递模型必须要确定光照强度才能够准确进行校正,而且该方法会影响高光谱图像的纹理特征。图16中显示了高光谱图像第32波段(535.10 nm)使用DS传递模型前后的图像对比,从图中可以明显看出,使用DS传递模型的图像明显受到了一定的污染。

图16 使用DS传递模型校正前后对比(a)未校正的样本,(b)DS校正后的样本

Fig.16 correction comparisons with DS model(a)uncorrected sample (b)corrected sample with DS

接下来我们讨论在光照变化下TF和FF的分类正确率。图17图18中给出了TF(降维方法:SSIM下同)和FF在不同光照强度下的识别正确率。表9通过表格的形式列出了在不同光照强度I下的ASC、TF、FF、IBGLAM、SPPD+IBGLAM的正确率的变化规律,其中TF是在波段选择数量为4时的正确率,FF是固定I值下的最高正确率。

图17 使用纹理信息识别结果

Fig.17 wood recognition results with textural feature

图18 特征融合后的识别结果

Fig.18 wood recognition results with feature fusion

表9 不同I值下的正确识别率
Table 9 classification ratio with different I values
ICorrection methods50100150200250300
ASC uncorrected 90.62% 84.37% 75.00% 61.45% 59.37% 54.16%
S/B 90.62% 84.37% 76.04% 62.50% 61.45% 55.20%
DS 90.62% 90.62% 92.70% 91.66% 91.66% 89.58%
IBGLAM uncorrected 82.29% 78.12% 73.95% 65.62% 65.62% 65.62%
S/B 78.12% 77.08% 75.00% 77.08% 68.75% 68.75%
DS 12.50% 12.50% 12.50% 12.50% 12.50% 12.50%
SPPD+IBGLAM uncorrected 86.45% 82.29% 79.16% 78.12% 76.04% 72.91%
S/B 76.04% 78.12% 78.12% 72.91% 68.75% 68.75%
DS 13.54% 12.50% 12.50% 12.50% 12.50% 12.50%
TF 97.91% 97.91% 97.91% 97.91% 97.91% 97.91%
FF 100% 98.95% 98.95% 97.91% 98.95% 97.91%

综合图17图18表9可以得出光照强度I的增加会大幅度降低ASC、IBGLAM和SPPD+IBGLAM的识别正确率。使用S/B传递模型进行校正对识别正确率影响不大,使用DS传递模型进行校正可有效提高ASC的分类正确率,但是这样会丢失高光谱图像的纹理信息致使无法使用IBGLAM算法进行分类。本文所述的高光谱图像纹理特征并不会因为I的强度变化而发生变化,另外FF识别效果最好。

3.5 纹理结构相似树种的识别正确率

在本节我们将讨论一些纹理相似的树种在使用本算法的识别正确率。图19中给出了金丝柚(Tectona grandis)、克隆木(Apitong)以及香樟木(Cinnamomum camphora)的横截面图像和具体信息。通过图19可以看出,这三种木材横截面的纹理结构较为相似,并且在拍摄和制作样本时故意加入了一些影响图像纹理稳定性的因素(横截面并不绝对平整、相机有抖动等情况)。

图19 纹理相似的木材横截面(a)金丝柚,(b)克隆木,(c)香樟木

Fig. 19 wood cross sections with similar textures (a)golden teak,(b) clone wood,(c)Camphorwood

表10中给出了上述三种木材在只使用纹理信息、特征融合后以及常规算法的识别正确率。从表10中可以看出在纹理结构较为相似的情况下,利用纹理进行识别的正确率明显低于之前样本集,但是本文所描述的纹理识别方法正确率仍高于PCA-GLCM纹理识别方法正确率30%以上。使用特征融合后的正确率超过97%,所以可以区分这三种木材。

表10 三种相似木材的识别正确率
Table 10 the classification ratio for 3 similar wood species
MethodTFFFPCA+GLCMIBGLAM
FDHMDHashMFDHMDHashM
Number 3 3 2 2 - -
Accuracy (%) 75.56% 80.56% 97.22% 94.44% 41.67% 55.55%

最后我们再看一下受到光照影响后,使用融合特征的识别正确率,如图20所示。结果显示即使在纹理结构相似和光谱曲线受到干扰的情况下,使用本文所述的方法依然可以取得较高的正确率

图20 特征融合后的识别正确率

Fig.20 wood recognition accuracy with feature fusions

4 结论

以8种木材的高光谱图像为研究对象,首先提出了一种基于图像相似度的高光谱图像波段选择方法,然后分别使用LBP和PLS方法提取了降维后的高光谱图像的纹理特征,并讨论了在只使用纹理特征进行识别时的识别正确率。接下来将高光谱图像中近红外波段的光谱信息与纹理信息相结合,利用融合后的特征向量进行实验。最终得到了以下几个结论:

第一、提出了一种基于图像相似度的高光谱图像降维方法,该方法充分考虑高光谱图像波段与波段之间的相似度。经实验验证使用该降维方法并以FDHM、SSIM、DHashM作为相似度评价标准,提取图像的纹理特征在分类器中的识别效果要优于传统的ABS波段选择以及信息量的方法。

第二、提出了一种基于图像融合、LBP以及分形理论(PLS)的高光谱图像纹理特征提取方法,经实验验证该方法与以往方法相比具有更高的识别正确率,且该方法在光照不稳定情况下具有稳定的特征值。

第三、从识别正确率上看,使用融合后的特征在分类器中的识别效果最好,无论使用SVM或BP神经网络均可以得到接近100%的识别正确率。即使是纹理相近的树种,使用本文所述方法依然能够有效进行区分。

第四、在光照对高光谱图像造成一定影响后,使用本文算法依然可以对木材树种进行识别。

值得说明的是,在文献[22]中,我们讨论了木材横截面上管孔中心、管孔周边和随机选取3种光谱信息在木材树种识别上的效果。但是文献[22]的方法只适用于管孔较大的阔叶木材,并不适用于管孔较小或没有管孔的木材树种;另外该方法也不能有效抵抗光照变化产生的干扰。该算法不依赖于木材管孔结构,对待识别木材是否具有管孔没有要求,还可以在一定程度上抵抗光照变化的影响。因此,和文献[22]比较,本文方法具有更广泛的应用前景和抗干扰性。

Referenes

[1] Pan S , Kudo M. Segmentation of pores in wood microscopic images based on mathematical morphology with a variable structuring element [J]. Computers and Electronics in Agriculture, 2011, 75(2):250-260.

[2] Zamri, Mohd Iz’aan Paiz, Cordova F , Khairuddin A.S.M ,et al. Tree species classification based on image analysis using Improved-Basic Gray Level Aura Matrix[J]. Computers and Electronics in Agriculture, 2016, 124:227-233.

[3] Ibrahim I , Khairuddin A.S.M , Abu Talip M.S ,et al. Tree species recognition system based on macroscopic image analysis[J]. Wood Science and Technology, 2017, 51(2):431-444.

[4] Yusof R , Khalid M , Khairuddin A.S.M. Application of kernel-genetic algorithm as nonlinear feature selection in tropical wood species recognition system[J]. Computers and Electronics in Agriculture, 2013, 93:68-77.

[5] Adedipe O.E , Ben D.A.A , Slahor J,et al. Classification of red oak (Quercus rubra) and white oak (Quercus alba) wood using a near infrared spectrometer and soft independent modelling of class analogies[J]. Journal of Near Infrared Spectroscopy, 2008, 16(1):49-57.

[6] Ballanti L, Blesius L, Hines E, et al. Tree species classification using hyperspectral imagery: A comparison of two classifiers[J]. Remote Sensing, 2016, 8(6): 445-451.

[7] ZHANG Wen-Jun. Study of outdoor illumination influence on Wonhuwang pear NIR acquisition [D] Hangzhou, China, China Jiliang Univ. (张文君. 室外光照对圆黄梨近红外光谱采集影响的研究.中国计量学院),2015.

[8] Saranwong I, Sornsrivichai J, Kawano S. On-tree evaluation of harvesting quality of mango fruit using a hand-held NIR instrument[J]. Journal of Near Infrared Spectroscopy, 2003, 11(4): 283-293.

[9] Brunelli R, MIMch O. Histograms analysis for image retrieval[J]. Pattern Recognition, 2001, 34(8):1625-1637.

[10] Wang Z, Bovik A. C., Sheikh H. R., et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE transactions on image processing, 2004, 13(4): 600-612.

[11] Russakoff D B, Tomasi C, Rohlfing T, et al. Image similarity using mutual information of regions[C].European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2004: 596-607.

[12] Maharana A. Application of Digital Fingerprinting: Duplicate Image Detection [D].Odisha, India, National Institute of Technology Rourkela, 2016.

[13] Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59.

[14] Ojala T, Pietikäinen M, Mäenpää T. Gray scale and rotation invariant texture classification with local binary patterns[C] European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2000: 404-420.

[15] Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002,12(7): 971-987.

[16] Xu Y, Ji H, Fermüller C. Viewpoint Invariant Texture Description Using Fractal Analysis[J]. International Journal of Computer Vision, 2009, 83(1):85-100.

[17] Quan Y, Xu Y, Sun Y, et al. Lacunarity Analysis on Image Patterns for Texture Classification[C] 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2014, 1-8.

[18] Gueymard C A. The sun’s total and spectral irradiance for solar energy applications and solar radiation models[J]. Solar Energy, 2004, 76(4):423-453.

[19] XIN Xiao-Wei, GONG Hui-Li, DING Xiang-Qian, et al. Study on calibration model transfer for the near infrared spectrum based on improved S/B algorithm [J]. Spectroscopy and Spectral Analysis.信晓伟,宫会丽,丁香乾,等. 改进S/B算法的近红外光谱模型转移.光谱学与光谱分析,2017,37(12),3709-3713。

[20] Wülfert A, Florian E, Kok W. T , Noord O. E. D,et al. Correction of Temperature-Induced Spectral Variation by Continuous Piecewise Direct Standardization[J]. Analytical Chemistry, 2000, 72(7), 1639-1644.

[21] LI Qing-Bo, ZHANG Guang-Jun, XU Ke-Xin, et al. Application of DS algorithm to the calibration transfer in near-infrared spectroscopy [J]. Spectroscopy and Spectral Analysis.李庆波,张广军,徐可欣,等. DS算法在近红外光谱多元校正模型传递中的应用.光谱学与光谱分析,2007,27(05),873-876。

[22] Zhao P, Wang C K. Hardwood Species Classification with Hyper-spectral Microscopic Images[J]. Journal of Spectroscopy, 2019, ID:2039453, 1-14.