摘要
针对空中红外目标样本数目不足、细粒度分类精度低等问题,提出一种基于元学习的少样本红外空中目标分类的方法。该方法以元学习为基础,结合多尺度特征融合,在减少计算量的同时有效提取不同分类任务之间的共性,再利用微调策略实现对不同任务的分类。实验证明,此方法在提升mini-ImageNet数据集分类精度的同时可减少约70%的计算量,对仅有少量样本的红外空中目标细粒度分类准确率可达到92.74%。
红外探测具有引导精度高、隐蔽性强、可探测超低空目标、可昼夜工作等优
针对少样本数据集训练难的问题,以任务为基础的少样本学
元学习通过学习相似任务之间的共性部分而获取经
为解决空中红外目标样本不足、细粒度分类等问题,本文提出一种基于元学习的少样本红外空中目标分类的模型MLFC(Meta Learning Few-shot Classification)。该模型对模型无关的元学习(MAML)网络结构进行改进,利用较少的参数融合不同尺度特征,提升模型对新任务的敏感程度,有效降低计算成本,实现对少数样本的空中红外目标细粒度分类。在训练策略上遵循元学习的训练方法,以任务为单位,将易于获取的红外地面目标分类任务作为训练集,将具有细微差别的空中红外目标分类任务作为测试集。先通过训练集得到不同任务之间的内在关系(即元参数),再对元参数进行微调得到适应于新任务的任务特定性参数,最终实现对新任务的分类。
元学习是以任务为基础进行训
元训练分两个阶段,前向传播和反向传播,网络记为,需要更新的元参数记为。前向传播计算元学习损失:根据该任务支撑集和网络模型计算支撑集损失,基于优化找到适用于该任务的网络参数;根据查询集和网络模型,计算查询集损失 ,元学习损失是所有任务的查询集损失和。反向传播是更新元学习参数:利用元学习的损失更新得到最优元学习参数。元测试则是根据训练得到的元参数模型和任务的支撑集,得到适用于该任务的任务特定参数,利用对查询集的样本进行分类。元学习的整体结构如

图1 元训练和元测试结构
Fig. 1 Architecture of meta train and meta test
算法的初衷就是学习到一个跨任务可传递的内在表
. | (1) |
对于每个任务,计算查询集的损失,模型参数的更新是在所有任务基础上,所以元学习优化的目标就是:
. | (2) |
采用步长为 的随机梯度下降(SGD)优化元参数,模型参数优化为:
. | (3) |
任务的数据集由构成,其中观测值为,目标值为。采用交叉熵(cross-entropy )作为分类问题的损失函数
. | (4) |
在网络结构的设计上,MAML仅使用了简单的4层卷积作为特征提取提取网络,每层卷积中通道数为32,提取的特征图如

图2 MAML模型结构和特征图
Fig. 2 Model architecture and feature maps of MAML
本文网络结构受InceptionNe

图3 不同结构对比 (a)使用池化和相加改进,(b)使用卷积和相加改进,(c)使用卷积和拼接改进
Fig. 3 Comparison with different functions (a) improved with pool & add, (b) improved with conv & add, (c) improved with conv & concat
在实验2.2中,对所设计的三种网络进行比较,
整体而言,本文的模型结构MLFC如

图4 本文MLFC模型结构
Fig. 4 Model architecture of MLFC
训练平台硬件配置为:Intel i7-8700K处理器、NVIDIA GTX1080Ti显卡、DDR4 32G内存;软件环境采用TensorFlow-GPU深度学习框架实现,以及相应版本的CUDNN库加速网络计算。使用两个数据集进行验证实验,分别为mini-ImageNet 数据

图5 数据集的部分示例(a)mini-ImageNet数据集,
Fig. 5 Examples of datasets (a)mini-ImageNet dataset,
(b)Infra-object数据集
(b)Infra-object dataset
数据集中图像均调整为,mini-ImageNet 数据集不采用数据增强,Infra-object数据集样本数量不足,使用随机旋转90°的整数倍进行数据增强。训练和测试均以任务为单位,对于C-way K-shot分类问题,在每个元任务中,随机选取C个不同类别,每类K个样本作为支撑集,从C类剩余样本中随机取15个样本作为查询集。训练时,从训练集中随机选取4个元任务为一组,计算其损失和为整体损失,并利用反向传播更新元参数,迭代60 000次。测试时,从测试集中随机选取600个元任务,在元测阶段每个元任务采用不同阶梯度对任务特定参数进行更新,阶梯度下每个任务其正确分类结果记为,阶梯度下准确率计算为。
mini-ImageNet数据集在匹配网
对于模型结构的验证,将本文1.3节提出的三种特征融合结构(

图6 不同结构测试集准确率对比 (a)5-way 1-shot, (b)5-way 5-shot
Fig. 6 Test accuracy with different structures (a)5-way 1-shot, (b)5-way 5-shot
其次是评估模型对新任务的敏感程度。比较MAML和本文提出的MLFC在元训练中使用1阶梯度和5阶梯度时(步长均为0.01),元测试时的准确率,如

图7 不同阶元训练梯度MAML和本文方法准确率 (a)5-way 1-shot,(b)5-way 5-shot
Fig. 7 Test accuracy of MAML and ours in different meta-train gradient steps (a)5-way 1-shot, (b)5-way 5-shot
实验还对比了在元训练阶段使用不同阶梯度时的浮点计算量和准确性,如
红外目标数据集包含25类地面目标和8类空中目标,每类包含100~200个16位灰度图像。25类地面目标包含行人、动物、船舶等;8类空中目标包括教练机、民航、歼7、歼8、歼11、直8、直9、直15,其中歼7、歼8、歼11均属于喷气式飞机,直8、直9、直15均属于直升机,空中目标分类的粒度高于地面目标。
为了证明模型可以有效的解决细粒度分类问题,本文将地面目标作为训练集,空中目标作为测试集,空中目标总共有8类,因此进行8-way 1-shot和8-way 5-shot两种分类,验证模型在真实场景下对少量红外空中目标的学习能力。由于红外数据集类别和样本数远不及可见光数据集,而可见光数据集和红外数据集域间分布差异
比较MAML和本文方法MLFC,在8-way 1-shot和8-way 5-shot分类中MLFC准确率均高于MAML,本文的模型有效提取不同任务之间内在关系,模型对新任务敏感程度提升,所以可以有效解决新任务间细粒度分类问题。采用预训练可以提升分类的准确性,这是由于可见光图像的纹理细节更加丰富,而红外图像的背景相对简单,纹理特征相对较少,用可见光图像预训练可以为网络提供一个良好的初始化参数,从而提升识别的准确率。
不仅如此,实验还将本文的结果与现有空中红外目标分类方法(文献[
本文提出一种基于元学习的少样本红外空中目标分类的方法,该方法有效地解决空中红外目标样本数目不足的问题,实现对空中红外目标的细粒度分类。该方法改进模型无关的元学习的网络结构,利用较少的参数实现不同尺度特征的融合,一方面有效提取不同任务之间的内在联系,提升模型对新任务的敏感程度,从而提升分类的准确性;另一方面利用低阶梯度更新任务特定参数,在减小计算成本的同时保证分类的准确性。该方法在空中目标侦测中具有广阔的运用前景,但是方法还可以在以下几个方面改善提升:
(1)二次优化问题。基于优化的元学习在计算任务特定参数时需要求解一次梯度,反向传播更新元参数时需要再次求解梯度,所以训练时需要进行二次优化(二次梯度求解)。二次优化问题会增加网络的不稳定性,学习率的微小变化会导致网络的巨大变化。未来研究中,可以利用动态优化,灵活的选择学习率,每次迭代中仅优化部分参数来解决二次优化带来的问题。
(2)复杂元任务的学习。本文只涉及8类红外空中目标的分类问题,任务设定只涉及面目标分类。但是在目标探测领域不仅涉及分类,还涉及目标定位、小目标追踪等一系列复杂问题。因此,将元学习拓展至目标探测领域中复杂的任务是未来研究中的一个重要挑战。
References
XIE J R, LI F M, WEI H, et al. Enhanced of single shot multibox detector for aerial infrared target detection[J]. Acta Optica Sinica谢江荣, 李范鸣, 卫红, 等。 用于空中红外目标检测的增强单发多框检测器方法。 光学学报 2019,39(6):0615001. 10.3788/aos201939.0615001 [百度学术]
Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C].The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 7-12 June 2015. Boston, MA, USA: IEEE, 2015:1063-6919. 10.1109/cvpr.2015.7298594 [百度学术]
Simonyan K , Zisserman A. Very deep convolutional networks for large-scale image recognition[C]. Conference Track Proceedings, (International Conference on Learning Representations, ICLR), 7-9, May, 2015, California, USA. 10.33278/sae-2014.vol.2 [百度学术]
S. l. : s. n. ], 2014. 10.33278/sae-2014.vol.2 [百度学术]
Ratner A J, Ehrenberg H R, Hussain Z, et al. Learning to compose domain-specific transformations for data augmentation [J]. Advances in Neural Information Processing Systems, 2017, 30:3239-3249. [百度学术]
Wang Y, Yao Q, Kwok J T, et al. Generalizing from a Few Examples [J]. ACM Computing Surveys, 2020, 53(3): 1-34. 10.1145/3386252 [百度学术]
Hochreiter S, Younger A S, Conwell P R. Learning to learn using gradient descent[C]. International Conference on Artificial Neural Networks, 21-25 August. Vienna, Austria: Springer, Berlin, Heidelberg: 87-94. 10.1109/ijcnn.2001.938471 [百度学术]
Lake B M, Ullman T D, Tenenbaum J B, et al. Building machines that learn and think like people [J]. Behavioral & Brain Sciences, 2017, 40(e253): 1. Doi:10.1017/S0140525X16001837 [百度学术]
Sung F, Yang Y, Zhang L, et al. Learning to compare: relation network for few-shot learning[C]. the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) June 18-22,2017. Salt Lake, UT, USA: IEEE, 2018:1199-1208. 10.1109/cvpr.2018.00131 [百度学术]
Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning[C]. Neural Information Processing Systems December 5-10, 2016. New York, USA: Curran Associates, 2016: 3630-3638 [百度学术]
Snell J, Swersky K, Zemel R S. Prototypical networks for few-shot learning[C]. Neural Information Processing Systems December 4-9, 2017. New York, USA: Curran Associates, 2017: 4077-4087 [百度学术]
Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]. Processing of the 34th International Conference on Machine Learning, August 6-11. 2017.Sydney, NSW, Australia: PMLR 70, 2017:1126-1135. [百度学术]
Ravi S, Arochellel H. Optimization as a model for few-shot learning[C]. International Conference on Learning Representation, April 24-26,2017. Toulon, France. 10.1590/1414-431X20176172 [百度学术]
S. l. : s. n. ] 2017. 10.1590/1414-431X20176172 [百度学术]
JIN Lu, LIU Shi-Jian, WANG Xiao, et al. Infrared aircraft classification method with small samples based on improved relation network[J]. Acta Optica Sinica金璐, 刘士建, 王霄, 等。 基于改进关系网络的小样本红外空中目标分类方法。光学学报, 2020, 40(8):0811005. 10.3788/aos202040.0811005 [百度学术]
Santoro A, Bartunov S, Botvinick M, et al. One-shot learning with memory-augmented neural networks [EB/OL].(2016-5-19) [2020-7-23] https://arxiv.org/abs/1605.06065v1. 10.1101/2020.06.17.156513 [百度学术]
Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C].The IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 7-12,2015, Boston, MA, USA New York: IEEE,2015:1-9. 10.1109/cvpr.2015.7298594 [百度学术]
Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision [EB/OL] (2015-12-11) [2020-7-24] https://arxiv.org/abs/1512.00567. 10.1109/cvpr.2016.308 [百度学术]
Hei K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition[C]. the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 26 - July 1 2016. Las Vegas, NV, USA: IEEE, 2016 :770-778. 10.1109/cvpr.2016.90 [百度学术]
Kingma D P, BA J. Adam: A method for stochastic optimization [EB/OL]. (2017-01-30) [2020-7-24] https://arxiv.org/abs/1412.6980. [百度学术]