论文部分内容阅读
摘要为解决农业果实自动采摘问题，设计了一种番茄采摘机器人。该采摘机器人采用Raspberry Pi 3B作为控制器，通过双目摄像头对目标果实进行识别与定位后，引导小车至目标果实，控制机械臂完成番茄的采摘。实验结果表明，该番茄采摘机器人具有自主性、准确性和高效性。
关键词采摘机器人；双目视觉；机械臂；移动小车
中图分类号S225.92文献标识码A文章编号0517-6611（2018）28-0182-04
Design and Implementation of Tomatoes Harvesting Robot
ZHOU Tao， ZHANG Dong， ZHOU Maodeng et al
（School of Information and Control Engineering， Qingdao University of Technology， Qingdao，Shandong 266520）
AbstractIn order to solve the problem of automatic picking of agricultural fruits， a tomato harvesting robot is designed. The harvesting robot uses Raspberry Pi 3B as controller， after identifying and locating the target fruit by binocular camera， it guides the car to the target fruit and controls the robot arm to complete the tomato picking. The experimental results show that the tomato harvesting robot is active， accurate and efficient.
Key wordsHarvesting robot；Binocular vision；Mechanical arm；Mobile vehicle
目前，欧美等发达国家已将各式各样的农业采摘机器人投入到实际应用中，而我国大多数果农仍然采取人工采摘。人工采摘不仅成本会逐年增加，而且效率也不高[1-3]。为此，笔者设计一个原型番茄采摘机器人。首先搭建硬件平台使采摘机器人有基本的功能结构，然后通过算法和软件设计使机器人能够完成果实采摘任务，最后对所设计的机器人进行实验。实验表明，该机器人具有自主性、准确性和高效性。
1硬件设计
该机器人主要由中央处理单元、双目摄像头、移动平台和机械臂装置构成，设计原理框图如图1所示。
1.1中央处理单元
该系统不仅需要快速的对图像进行处理，而且还要对小车和机械臂进行控制。该设计选用树莓派3B（Raspberry Pi 3B）作为番茄采摘机器人的主控制器。Raspberry Pi是一款基于ARM的电脑主板，外表仅有银行卡大小，可以连接鼠标、键盘，这样便可具备电脑的基本功能。Raspberry Pi 3B有4个USB接口，可与双目摄像头连接；多个GPIO接口可与机械臂上的舵机信号线相连，以传送PWM信号。除此之外，Raspberry Pi 3B还有功耗低、价格便宜、易于开发等特点，因此，采用Raspberry Pi 3B作为番茄采摘机器人的中央处理单元能够满足系统要求。
1.2双目摄像机
双目立体视觉是通过计算机相关技术模仿了人两只眼睛捕捉到的信息，并对捕捉到的信息进行处理分析，可以得到目标物体在世界坐标的位置。该设计采用莱娜机器视觉（LenaCV）提供的双目摄像头作为番茄采摘机器人的双眼。此双目摄像机基线可变，可以根据目标物体距离视觉传感器的远近来调整基线大小，如果目标物体远，则基线调大，相反，则调小，以此来保证定位的精确度。此双目传感器采用DSP作为处理芯片，帧率可达30帧/s，数据接口为USB 3.0，同时兼容USB 2.0，接口协议为免驱动UVC，可与Raspberry Pi直接通信。图2为该设计所使用的双目摄像机。
1.3移动平台
为装载机械臂、双目摄像头等，需要一个移动平台，选用直流电机作为其驱动电机。直流电机相对于其他电机有以下优点：响应快，力矩大，具有较大的过载能力，噪声小。选用的电机主要参数如下：额定電压12 V，额定电流350 mA，电机自带减速箱，空载时输出轴转速为500 r/min。在实际应用中，需要用电机驱动芯片来控制电机[4]，该设计中使用SGS公司的L298N。该芯片为双H桥的驱动芯片，每个H桥提供2 A的电流，可以同时驱动两路电机，通过控制输入端的高低电平来实现电机正转、反转或停止，从而实现小车的前进、后退和停止。L298N有2个使能端，4个逻辑输入端和4个输出端，其逻辑结构如表1所示，表1中ENA为使能端，仅当使能端为高电平时，输入IN1、IN2才有效，ENB中的IN3、IN4同理。
1.4机械臂装置
机械臂装置为5+1自由度机械手臂，即5个关节和1个执行末端。由于机械手臂对精度的要求较高，
所以采用数字舵机作为机械臂的关节转动电机。相比传统的模拟舵机，数字舵机有以下优点：响应更快，精度更高，抗干扰能力更强。模拟舵机需要不断地接收信号端的信号来维持当前角度，而数字电机接收一次信号则可维持。舵机上的信号端与Raspberry Pi的GPIO端口相连，通过端口发送的PWM信号来对数字舵机的角度进行控制，从而实现机器人关节的转动。舵机的旋转角度和PWM信号的占空比有着线性关系，只需要改变PWM的占空比就可以实现机械臂的转动。图3为番茄采摘机器人整体实物图。 2算法设计
2.1机械臂建模
为了确定机械臂的最终位姿，需对机械臂进行建模。D-H模型是分析机器人运动学最常用的方法，可以应用于各种结构的机器人，无论机器人的结构有多复杂，都可以使用D-H模型[5-7]。为了实现平抓[8]，将末端旋转关节保持不变，机械臂简化为成4+1（4个关节和1个执行末端）。根据右手法则可以确定各Z轴坐标，X轴坐标为前一连杆的直线方向，由此可得到机械臂的连杆坐标图，如图4所示。
2.2逆运动学
逆运动学在机器人学中同样占据重要地位，根據逆运动学计算机械臂的各个关节的θ值，从而使机械臂处于所期望的位姿。该设计使用最基本的代数解法，上一节中已求出基座与执行末端的值，假设机械臂的执行末端所期望的位姿，公式如下：
2.3目标果实识别与定位
识别目标果实的方法有很多，可以根据颜色、形状和纹理来确定被识别物为树叶、树杆还是果实。其中，颜色是区分成熟果实和背景的最直观的特征，该设计中也将使用颜色分割来识别成熟的番茄。利用RGB（RedGreenBlue）空间来提取颜色特征，RGB是通过红绿蓝3种颜色通道的变化和叠加来得到各种各样的颜色。通过RGB像素程序，对成熟番茄进行颜色分割[9]，可以确定成熟番茄的像素范围，R∈[66，255]，G∈[0，46]，B∈[0，255]，再通过形态学操作，将周围的噪声去掉。这样就完成了目标果实的识别。图5为处理过程。
双目立体视觉的原理是2个摄像头在一定的距离内以一定的夹角分隔开，在2张图中捕捉相同的场景。该设计采用的双目摄像头之间的夹角是180°，即左右2个摄像头的光轴是平行的[10]，其基本原理如图6所示。
4实验
该实验对番茄采摘机器人进行了基本的设计，为了验证该机器人是否能正确识别成熟番茄，是否能成功采摘目标果实，对该机器人进行测试实验。实验在实验室的模拟环境中进行，对不同位置的番茄进行了50次实验。结果表明，该采摘机器人能够正确抓取目标番茄的次数为39次，成功率为78%，从机械臂到达工作半径范围内开始到成功摘取番茄，平均用时在15 s以内。
造成机器人采摘番茄任务失败的因素有：①光照条件的影响[11]，光照太强或者太弱以及反光等因素都有可能使目
标识别的准确度下降，导致番茄的质心定位有所偏移。②叶
子遮盖住番茄将导致机器人识别的时候只识别到番茄的一部分。③2个或2个以上的番茄重叠在一起时，机器人可能将它们判定为一个番茄。
5结论
该研究根据番茄采摘的要求，设计了一款基于双目视觉的番茄采摘机器人。该机器人结构简单、反应灵敏、执行速度快，采摘成功率较高，总体上达到了设计的要求，对实现农业采摘的无人化有着重要意义。
参考文献
[1] 崔玉洁，张祖立，白晓虎.采摘机器人的研究进展与现状分析[J].农机化研究，2007（2）：4-7.
[2] 宋健.茄子采摘机器人结构参数的优化设计与仿真[J].机械设计与制造，2008（6）：166-168.
[3] 孙承庭，胡平.嵌入式采摘机器人视觉测量与避障控制系统研究[J].农机化研究，2016（11）：219-223.
[4] 周柱.基于STM32的智能小车研究[D].成都：西南交通大学，2011.
[5] 项有元，陈万米，邹国柱.基于D-H算法的自主机器人机械臂建模方法研究[J].工业控制计算机，2014，27（3）：113-115.
[6] 蔡自兴.机器人学[M].北京：清华大学出版社，2009.
[7] CRAIG J J.Introduction to robotics：Mechanics and control [M].Beijing：China Machine Press，2005.
[8] 战茜，屠大维.移动机器人自主抓取作业[J].计算机应用，2016，36（S1）：95-98，102.
[9] 鲍官军，荀一，戚利勇，等.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学报，2010，38（1）：114-118.
[10] 晁衍凯，徐昱琳，周勇飞，等.基于双目视觉的机器人目标定位与机械臂控制[J].计算机技术与发展，2013，23（7）：6-9.
[11] 熊俊涛，邹湘军，彭红星，等.扰动柑橘采摘的实时识别与采摘点确定技术[J].农业机械学报，2014，45（8）：38-43.
关键词采摘机器人；双目视觉；机械臂；移动小车
中图分类号S225.92文献标识码A文章编号0517-6611（2018）28-0182-04
Design and Implementation of Tomatoes Harvesting Robot
ZHOU Tao， ZHANG Dong， ZHOU Maodeng et al
（School of Information and Control Engineering， Qingdao University of Technology， Qingdao，Shandong 266520）
AbstractIn order to solve the problem of automatic picking of agricultural fruits， a tomato harvesting robot is designed. The harvesting robot uses Raspberry Pi 3B as controller， after identifying and locating the target fruit by binocular camera， it guides the car to the target fruit and controls the robot arm to complete the tomato picking. The experimental results show that the tomato harvesting robot is active， accurate and efficient.
Key wordsHarvesting robot；Binocular vision；Mechanical arm；Mobile vehicle
目前，欧美等发达国家已将各式各样的农业采摘机器人投入到实际应用中，而我国大多数果农仍然采取人工采摘。人工采摘不仅成本会逐年增加，而且效率也不高[1-3]。为此，笔者设计一个原型番茄采摘机器人。首先搭建硬件平台使采摘机器人有基本的功能结构，然后通过算法和软件设计使机器人能够完成果实采摘任务，最后对所设计的机器人进行实验。实验表明，该机器人具有自主性、准确性和高效性。
1硬件设计
该机器人主要由中央处理单元、双目摄像头、移动平台和机械臂装置构成，设计原理框图如图1所示。
1.1中央处理单元
该系统不仅需要快速的对图像进行处理，而且还要对小车和机械臂进行控制。该设计选用树莓派3B（Raspberry Pi 3B）作为番茄采摘机器人的主控制器。Raspberry Pi是一款基于ARM的电脑主板，外表仅有银行卡大小，可以连接鼠标、键盘，这样便可具备电脑的基本功能。Raspberry Pi 3B有4个USB接口，可与双目摄像头连接；多个GPIO接口可与机械臂上的舵机信号线相连，以传送PWM信号。除此之外，Raspberry Pi 3B还有功耗低、价格便宜、易于开发等特点，因此，采用Raspberry Pi 3B作为番茄采摘机器人的中央处理单元能够满足系统要求。
1.2双目摄像机
双目立体视觉是通过计算机相关技术模仿了人两只眼睛捕捉到的信息，并对捕捉到的信息进行处理分析，可以得到目标物体在世界坐标的位置。该设计采用莱娜机器视觉（LenaCV）提供的双目摄像头作为番茄采摘机器人的双眼。此双目摄像机基线可变，可以根据目标物体距离视觉传感器的远近来调整基线大小，如果目标物体远，则基线调大，相反，则调小，以此来保证定位的精确度。此双目传感器采用DSP作为处理芯片，帧率可达30帧/s，数据接口为USB 3.0，同时兼容USB 2.0，接口协议为免驱动UVC，可与Raspberry Pi直接通信。图2为该设计所使用的双目摄像机。
1.3移动平台
为装载机械臂、双目摄像头等，需要一个移动平台，选用直流电机作为其驱动电机。直流电机相对于其他电机有以下优点：响应快，力矩大，具有较大的过载能力，噪声小。选用的电机主要参数如下：额定電压12 V，额定电流350 mA，电机自带减速箱，空载时输出轴转速为500 r/min。在实际应用中，需要用电机驱动芯片来控制电机[4]，该设计中使用SGS公司的L298N。该芯片为双H桥的驱动芯片，每个H桥提供2 A的电流，可以同时驱动两路电机，通过控制输入端的高低电平来实现电机正转、反转或停止，从而实现小车的前进、后退和停止。L298N有2个使能端，4个逻辑输入端和4个输出端，其逻辑结构如表1所示，表1中ENA为使能端，仅当使能端为高电平时，输入IN1、IN2才有效，ENB中的IN3、IN4同理。
1.4机械臂装置
机械臂装置为5+1自由度机械手臂，即5个关节和1个执行末端。由于机械手臂对精度的要求较高，
所以采用数字舵机作为机械臂的关节转动电机。相比传统的模拟舵机，数字舵机有以下优点：响应更快，精度更高，抗干扰能力更强。模拟舵机需要不断地接收信号端的信号来维持当前角度，而数字电机接收一次信号则可维持。舵机上的信号端与Raspberry Pi的GPIO端口相连，通过端口发送的PWM信号来对数字舵机的角度进行控制，从而实现机器人关节的转动。舵机的旋转角度和PWM信号的占空比有着线性关系，只需要改变PWM的占空比就可以实现机械臂的转动。图3为番茄采摘机器人整体实物图。 2算法设计
2.1机械臂建模
为了确定机械臂的最终位姿，需对机械臂进行建模。D-H模型是分析机器人运动学最常用的方法，可以应用于各种结构的机器人，无论机器人的结构有多复杂，都可以使用D-H模型[5-7]。为了实现平抓[8]，将末端旋转关节保持不变，机械臂简化为成4+1（4个关节和1个执行末端）。根据右手法则可以确定各Z轴坐标，X轴坐标为前一连杆的直线方向，由此可得到机械臂的连杆坐标图，如图4所示。
2.2逆运动学
逆运动学在机器人学中同样占据重要地位，根據逆运动学计算机械臂的各个关节的θ值，从而使机械臂处于所期望的位姿。该设计使用最基本的代数解法，上一节中已求出基座与执行末端的值，假设机械臂的执行末端所期望的位姿，公式如下：
2.3目标果实识别与定位
识别目标果实的方法有很多，可以根据颜色、形状和纹理来确定被识别物为树叶、树杆还是果实。其中，颜色是区分成熟果实和背景的最直观的特征，该设计中也将使用颜色分割来识别成熟的番茄。利用RGB（RedGreenBlue）空间来提取颜色特征，RGB是通过红绿蓝3种颜色通道的变化和叠加来得到各种各样的颜色。通过RGB像素程序，对成熟番茄进行颜色分割[9]，可以确定成熟番茄的像素范围，R∈[66，255]，G∈[0，46]，B∈[0，255]，再通过形态学操作，将周围的噪声去掉。这样就完成了目标果实的识别。图5为处理过程。
双目立体视觉的原理是2个摄像头在一定的距离内以一定的夹角分隔开，在2张图中捕捉相同的场景。该设计采用的双目摄像头之间的夹角是180°，即左右2个摄像头的光轴是平行的[10]，其基本原理如图6所示。
4实验
该实验对番茄采摘机器人进行了基本的设计，为了验证该机器人是否能正确识别成熟番茄，是否能成功采摘目标果实，对该机器人进行测试实验。实验在实验室的模拟环境中进行，对不同位置的番茄进行了50次实验。结果表明，该采摘机器人能够正确抓取目标番茄的次数为39次，成功率为78%，从机械臂到达工作半径范围内开始到成功摘取番茄，平均用时在15 s以内。
造成机器人采摘番茄任务失败的因素有：①光照条件的影响[11]，光照太强或者太弱以及反光等因素都有可能使目
标识别的准确度下降，导致番茄的质心定位有所偏移。②叶
子遮盖住番茄将导致机器人识别的时候只识别到番茄的一部分。③2个或2个以上的番茄重叠在一起时，机器人可能将它们判定为一个番茄。
5结论
该研究根据番茄采摘的要求，设计了一款基于双目视觉的番茄采摘机器人。该机器人结构简单、反应灵敏、执行速度快，采摘成功率较高，总体上达到了设计的要求，对实现农业采摘的无人化有着重要意义。
参考文献
[1] 崔玉洁，张祖立，白晓虎.采摘机器人的研究进展与现状分析[J].农机化研究，2007（2）：4-7.
[2] 宋健.茄子采摘机器人结构参数的优化设计与仿真[J].机械设计与制造，2008（6）：166-168.
[3] 孙承庭，胡平.嵌入式采摘机器人视觉测量与避障控制系统研究[J].农机化研究，2016（11）：219-223.
[4] 周柱.基于STM32的智能小车研究[D].成都：西南交通大学，2011.
[5] 项有元，陈万米，邹国柱.基于D-H算法的自主机器人机械臂建模方法研究[J].工业控制计算机，2014，27（3）：113-115.
[6] 蔡自兴.机器人学[M].北京：清华大学出版社，2009.
[7] CRAIG J J.Introduction to robotics：Mechanics and control [M].Beijing：China Machine Press，2005.
[8] 战茜，屠大维.移动机器人自主抓取作业[J].计算机应用，2016，36（S1）：95-98，102.
[9] 鲍官军，荀一，戚利勇，等.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学报，2010，38（1）：114-118.
[10] 晁衍凯，徐昱琳，周勇飞，等.基于双目视觉的机器人目标定位与机械臂控制[J].计算机技术与发展，2013，23（7）：6-9.
[11] 熊俊涛，邹湘军，彭红星，等.扰动柑橘采摘的实时识别与采摘点确定技术[J].农业机械学报，2014，45（8）：38-43.