论文部分内容阅读
采后果实商品化处理水平低严重影响我国苹果在国际市场的竞争力，因此实现苹果品种的识别和内部品质的无损检测已成为国内苹果产业化和提高国际竞争力的必要前提。目前水果无损检测主要应用近红外、高光谱、电学和气味等几大类检测方法，其普遍存在数据采集门槛高，易受实验环境及设备影响等问题。由于苹果外观与其品种及品质存在着相关性，本文将移动终端作为主要的采集设备，应用机器视觉技术实现苹果品种鉴别和品质检测，其具有无损、简便快捷等优点。
本研究利用移动终端设备，采集同一苹果在自然光线下不同角度的多张图片，经过图像转换、图像预处理、特征提取等处理建立了苹果坚实度、成熟度以及糖酸含量与苹果图像间的相关性预测模型。本文的研究目的在于验证机器视觉技术在识别苹果品种及内部品质检测可行性，排除光线、拍摄角度对检测结果的影响，并确定苹果的等级，为研发具有自主知识产权的基于移动终端的苹果品种识别和品质检测平台提供方法依据。主要完成了如下的四个工作:
(1)数据集构建，构建了苹果数据集，采集了不同产地、五个品种(富士、国光、王林、乔纳金和斗南)的苹果图像，每种苹果100个样本，对每一个苹果，选取了不同角度的照片50张，总共25000张照片构建数据集;并对每个苹果的品质做了理化实验，测定了苹果坚实度，糖酸含量，对苹果内外品质相关性进行了初步实验研究，分别完成不同品种和同一品种苹果部分品质相关性实验分析。
(2)针对苹果图像的特点，设计并实现了基于多视图技术的苹果品种识别算法(ACRMV)。该方法充分利用不同视图间的一致性和互补性，以达到多种视图互相融合，共同提升识别性能的目的。ACRMV以图像在不同特征描述子下的表示为基本的视图表示方法，其中一致性表示不同视图共同的潜在语义信息，而互补性则是不同的描述子只专注图像某一方面的特性。通过在苹果数据集上的品种识别测试，以及在动态纹理识别以及多角度物体识别等任务上的扩展测试，进一步验证了算法的有效性。
(3)根据同一苹果多个观测角度的图像的互补性，设计并实现了基于局部重构的黎曼流形判别分析方法(LCDAM)用于苹果品质预测。通过对糖度，酸度，坚实度以及成熟度等品质指标学习，验证了该方法的有效性，并通过对不同指标的预测结果的分析，也给出了不同指标预测难易度，从而明确了基于可见光图像进行品质预测的适用范围与场景。
(4)针对苹果品种识别与品质预测这两类任务的内在关联，设计并实现了多任务的苹果属性识别算法(AARMTL)。这两类任务可以互相补充，但在多样的数据环境下，不同任务可能存在着竞争关系。AARMTL主要融合了内在相关的任务，分别是品种鉴别和品质检测，把多任务学习形式化为一个多目标优化问题，通过对其优化以获得该问题的帕累托(Pareto)最优解。AARMTL在实现时采用了深度学习技术，其根据多任务学习的特点，充分利用卷积神经网络(CNN)对图像特征的多层信息抽取机制，即在该网络中对不同的任务共享了底层的特征提取层，同时在实际任务层，根据品种和品质这两类任务的特点，分别采用不同的网络分支:在品种识别任务中采用了传统的交叉熵损失函数;在品质检测任务中，引入了自注意力机制，适应性的学习不同角度图像间关系及重要性。实验结果表明，AARMTL在多任务环境下取得了比单任务模型更好的结果。不仅如此，即使是不同数据集的同类任务，AARMTL仍然获得了比单一数据集更高的分类准确率，这极大的扩展了该方法的适用范围，使其可以充分利用任务和数据集间的知识传递特性，提升单个任务的学习能力和不同数据集间的迁移能力。
本研究利用移动终端设备，采集同一苹果在自然光线下不同角度的多张图片，经过图像转换、图像预处理、特征提取等处理建立了苹果坚实度、成熟度以及糖酸含量与苹果图像间的相关性预测模型。本文的研究目的在于验证机器视觉技术在识别苹果品种及内部品质检测可行性，排除光线、拍摄角度对检测结果的影响，并确定苹果的等级，为研发具有自主知识产权的基于移动终端的苹果品种识别和品质检测平台提供方法依据。主要完成了如下的四个工作:
(1)数据集构建，构建了苹果数据集，采集了不同产地、五个品种(富士、国光、王林、乔纳金和斗南)的苹果图像，每种苹果100个样本，对每一个苹果，选取了不同角度的照片50张，总共25000张照片构建数据集;并对每个苹果的品质做了理化实验，测定了苹果坚实度，糖酸含量，对苹果内外品质相关性进行了初步实验研究，分别完成不同品种和同一品种苹果部分品质相关性实验分析。
(2)针对苹果图像的特点，设计并实现了基于多视图技术的苹果品种识别算法(ACRMV)。该方法充分利用不同视图间的一致性和互补性，以达到多种视图互相融合，共同提升识别性能的目的。ACRMV以图像在不同特征描述子下的表示为基本的视图表示方法，其中一致性表示不同视图共同的潜在语义信息，而互补性则是不同的描述子只专注图像某一方面的特性。通过在苹果数据集上的品种识别测试，以及在动态纹理识别以及多角度物体识别等任务上的扩展测试，进一步验证了算法的有效性。
(3)根据同一苹果多个观测角度的图像的互补性，设计并实现了基于局部重构的黎曼流形判别分析方法(LCDAM)用于苹果品质预测。通过对糖度，酸度，坚实度以及成熟度等品质指标学习，验证了该方法的有效性，并通过对不同指标的预测结果的分析，也给出了不同指标预测难易度，从而明确了基于可见光图像进行品质预测的适用范围与场景。
(4)针对苹果品种识别与品质预测这两类任务的内在关联，设计并实现了多任务的苹果属性识别算法(AARMTL)。这两类任务可以互相补充，但在多样的数据环境下，不同任务可能存在着竞争关系。AARMTL主要融合了内在相关的任务，分别是品种鉴别和品质检测，把多任务学习形式化为一个多目标优化问题，通过对其优化以获得该问题的帕累托(Pareto)最优解。AARMTL在实现时采用了深度学习技术，其根据多任务学习的特点，充分利用卷积神经网络(CNN)对图像特征的多层信息抽取机制，即在该网络中对不同的任务共享了底层的特征提取层，同时在实际任务层，根据品种和品质这两类任务的特点，分别采用不同的网络分支:在品种识别任务中采用了传统的交叉熵损失函数;在品质检测任务中，引入了自注意力机制，适应性的学习不同角度图像间关系及重要性。实验结果表明，AARMTL在多任务环境下取得了比单任务模型更好的结果。不仅如此，即使是不同数据集的同类任务，AARMTL仍然获得了比单一数据集更高的分类准确率，这极大的扩展了该方法的适用范围，使其可以充分利用任务和数据集间的知识传递特性，提升单个任务的学习能力和不同数据集间的迁移能力。