论文部分内容阅读
农业发展关乎粮食安全,有机农业发展又关乎食品安全;粮食安全保证,当今中国13.95亿人和全球75.94亿人的生存,而因为农药残留等问题导致的食品不安全将危害国民健康。在农业生产过程中,精准农业对生产率、环境影响、粮食安全和生态可持续绿色发展方面的挑战至关重要。玉米作为中国种植的主要经济作物,而玉米的苗期是其最需要进行中耕维护的阶段。本研究以玉米秧苗为研究对象,以基于深度学习的目标检测为技术手段,运用CNN可视化技术分析和深度学习建模相结合,旨在从田间工况条件进行玉米秧苗目标检测。深入研究全周期玉米秧苗在多天气和多角度条件层面上的识别提供新的技术手段和方法,也为智能中耕的农业机器人末端执行器的随时应变作业、农机作业信息感知及其精细生产管控应用提供论文基础和技术支撑。考虑到玉米的产量巨大和玉米秧苗检测的复杂性,本研究以玉米秧苗为着力点来开展研究,以期望于深度学习技术来助力于农业机器人产业化的发展,具有深远意义。主要结论如下:（1）介绍基于田间工况条件下的玉米秧苗目标检测算法需要的前期准备工作,分为三个主要部分:实验材料、实验设备与软件实验材料和田间机器人平台简介与结构设计。重点详细研究了基于农业生产系统开放性的田间机器人平台的设计与搭建。实验材料介绍了实验材料来源和选取标准,实验材料是来自于香坊区试验田的玉米秧苗。实验设备与软件实验材料详细介绍了所使用的硬件设备与软件,所需实验设备包括:一台计算机工作站、三台计算机、一部Raspberry Pi 3B+、一枚英特尔神经计算棒Movidius 2 So C、六枚USB工业数码摄像头。研究所需软件具体包括:MATLAB 2019a、Py Charm、Label Img和Tensor Space。田间机器人平台简介与结构设计详细介绍了平台的组成与功能,田间机器人平台是后续进行图像采集与试验的基础条件。田间机器人平台主要包括车体平台、计算机组、智能控制系统和双翼式视觉系统;利用Pro/E软件进行车体平台与双翼式视觉系统设计,完成对实验平台的初步搭建,获取车体平台到主要基础技术参数。（2）实现了基于Faster R-CNN的玉米秧苗目标检测。在自建的田间机器人平台和数据标签工具MATLAB App Image Labeler的辅助下,采集到20000张样本图片,标记了32354株玉米秧苗和6918株杂草。使用MATLAB 2019a搭建Faster R-CNN,使用迁移学习方法选定10个的Pre-trained network来代替经典的Faster R-CNN网络的CNN特征计算部分,从而提出了一种基于迁移学习方法的Faster R-CNN with VGG19。重点研究了基于迁移学习处理的Faster R-CNN with VGG19,其平均精确率P为97.71%,F1为97.31%,检测速度为4帧/s。（3）从田间工况作业角度实现了在全周期、多天气和多角度条件下的玉米秧苗目标检测。全周期:采集到玉米颖果发芽破土的萌发期末期至玉米植株拔节前期的图片,玉米植株拔节前期时间点也对应着中耕作业封垄的时间点。全周期条件玉米秧苗即2叶至7叶的玉米秧苗。在全周期条件下,Faster R-CNN with VGG19对2-5叶期玉米秧苗的精确率P为0.9876、召回率R为0.9646、F1为0.9760;对6-7叶期玉米秧苗的精确率P为0.9497、召回率R为0.9822、F1为0.9657。多天气:雨天、阴天和晴天的环境条件,包含了光照强度和土壤类型。多角度:摄像头垂直拍摄角度为75°、30°和0°。在多天气条件下,Faster R-CNN with VGG19对雨天玉米秧苗的精确率P为0.9739、召回率R为0.9609、F1为0.9674;对阴天玉米秧苗的精确率P为0.9851、召回率R为0.9843、F1为0.9846;对晴天玉米秧苗的精确率P为0.9574、召回率R为0.9349、F1为0.9460。在多角度条件下,Faster R-CNN with VGG19对75°玉米秧苗的精确率P为0.9820、召回率R为0.9725、F1为0.9772;对30°玉米秧苗的精确率P为0.9802、召回率R为0.9808、F1为0.9805;对0°玉米秧苗的精确率P为0.9676、召回率R为0.9517、F1为0.9596。（4）实现了基于Mobile Net V3-SSD的玉米秧苗目标检测。在图像采集阶段,得到129792张图片并标记了其中21907张图片。使用Tensor Flow框架搭建Mobile Net V3-SSD网络,使用3D可视化框架Tensor Space帮助了解网络层状态、系数、尺寸和模型的颜色,对Mobile Net V3-SSD网络进行剪枝处理。把Mobile Net V3-SSD with pruning,从PC端迁移到推理边缘端或终端设备（Raspberry Pi 3B+）。重点研究了基于剪枝处理的Mobile Net V3-SSD,其整体精度为88.56%,检测速度为18帧/s。（5）对于最初的研究,相机的多角度和玉米秧苗生长的整个周期仍然存在不足。对全周期和多角度条件进行了尽可能深入的研究。从田间工况作业角度,实现了在全周期和多角度条件下的玉米秧苗目标检测。全周期条件玉米秧苗即1叶至9叶的玉米秧苗。全周期条件玉米秧苗即2叶至7叶的玉米秧苗。多角度:基于垂直旋转角α（0°、30°、75°和90°）和水平旋转角β（-90°、0°、45°和90°）组合形成16个空间旋转角的多角度。在全周期条件下,Mobile Net V3-SSD with pruning对标记为Maize3的玉米秧苗的整体精度OA最低为0.9094;标记为Maize2的玉米秧苗的整体精度OA第二高为0.8991;标记为Maize1的玉米秧苗的整体精度OA第二低为0.7302;标记为Weed的杂草的整体精度OA最低为0.8502;在多角度条件下,将多角度的总体精度分为4个级别:OA≥95%、95%>OA≥90%、90%>OA≥85%和80%>OA≥70%。在全周期条件下,本研究得到不同叶龄玉米秧苗与检测精度的曲线关系;在多天气条件下,多云的检测效果优于雨后,雨后的检测效果优于晴天的检测效果;在多角度条件下,得到16个空间旋转角度相应的OA范围等级,为智能中耕作业提供了建议。