论文部分内容阅读
摘要 针对苹果分拣生产线检测分级过程中面临的多个苹果堆叠而产生的计数精度不高的问题，提出了一种全局阈值迭代算法，在RGB图像空间利用抓取的彩色苹果图像R值矩阵生成灰度图，通过多次迭代计算，提取了各连通域质心的欧式距离特征，并针对堆叠苹果的粘连连通域进行了堆叠质心的剔除，进行了三次迭代计算之后，最终确定了图像中苹果的数量，计数精度达到90%，该研究可为苹果分拣生产线的自动化设计提供技术支持。
关键词 机器视觉；苹果生产线；图像分割；全局阈值迭代；算法
中图分类号 S126 文献标识码 A 文章编号 0517-6611（2018）29-0180-03
Abstract A global threshold iterative algorithm was proposed for multiple apple stacking in the process of detection and classification in apple production line.R value matrix of apple image in RGB image space was used to segment the adhesive apples.The Euclidean distance characteristics of the centroid of each connected domain were extracted by multiple iterative calculation and the repeated centroid was eliminated.After three iterations，the number of apples was determined and the precision of the algorithm was 90%.The research can provide technical support for automatic design of apple selection line .
Key words Machine vision； Apple production line；Image segmentation；Global threshold iterative；Algorithm
苹果是中国市场上的主要水果之一，苹果产业是水果产业的重要组成部分。为了满足人们日益增长的生活水平需求，苹果产业正向着量产化、智能化方向发展。苹果采摘后需要经过检测、分级、清洗等工序，其中尤以检测分级工序技术要求高，难度大，正因如此，苹果自动检测分级技术成为提升苹果产后处理水平的重要手段之一，成为增加苹果产业附加值和降低其产业人工成本的重要工具。随着计算机技术的迅速发展，计算机及视觉设备价格大幅下降而速度成倍提升，为计算机视觉技术的广泛应用创造了条件[1]。应用机器视觉对苹果生产线进行智能化改造成为研究热点，而苹果图像分割和识别技术是其中不可或缺的一环。
刘全良等[2]提出一种基于分形理论的苹果属性分类识别方法，通过机器视觉获取苹果彩色图像并进行处理，实现苹果属性的准确检测和分类。安爱琴等[3]介绍采用机器视觉的苹果大小自动分级方法，应用MATLAB软件编程实现了对样本图像的背景去除、二值化、图像平滑、特征量提取和图像标定等处理，参照苹果分级的国家标准完成苹果自动分级。李伟等[4]提出一种基于机器视觉技术的苹果表面纹理检测分级方法，提取苹果目标，使用不同算法灰度化图像，根据纹理位于圖像中灰度突变处的特点，采用典型梯度算法，对目标图像进行2次梯度锐化，对图像进行滤波去噪使纹理更加突出，利用绝对差分算法，计算图像的平均梯度，选取阈值55，将苹果分为纹理鲜明A级果和纹理不鲜明B级果。国内学者在苹果品质检测方面提出各具特点的解决方案，获得不少研究成果[5]；但是，这些研究成果大多集中在单个苹果品质的分级技术中，在成堆苹果方面的分割识别研究较少。
该研究针对苹果检测识别技术中面临的多个苹果分割识别现象，提出一种全局阈值迭代算法，在RGB 图像空间利用苹果图像的R值矩阵对粘连苹果进行分割，提取各连通域质心的欧式距离特征，进行3次迭代之后，合并迭代图像并进行筛选，最终确定苹果的分割数量。
1 全局阈值迭代分割算法
受光照强度影响，在不同的苹果图像区域存在明暗变化，给图像的分割带来很大干扰；同时，多个苹果交叠，导致苹果连通域粘连（图1）。试验发现，传统的二值化算子进行分割计数的误差较大。该研究提出的全局阈值迭代分割算法的基本思想是：利用R值灰度图上单个苹果的灰度值梯度变化规律，开始时选择一个阈值提取较亮部分，分割出苹果连通域并识别质心；第二步将剩余较暗连通区域的亮度提升，选择新阈值提取较亮部分，分割出苹果连通域并识别质心；重复迭代第二步直到苹果所在区域完全被提取；多次迭代获得苹果连通域质心矩阵，对相邻迭代质心进行欧氏距离计算，判断2个连通域是否处于同一个苹果上并进行处理，计算苹果数量并做标记。步骤如下：
第一步：将背景和目标分离，背景设置为黑色，目标不变；第二步：将图像在RGB空间分离为3个矩阵，选择R矩阵形成灰度图，并降低灰度级；第三步：第1次迭代，选择全局阈值对图像做二值化处理，提取连通域并做质心标记，形成第1次迭代质心矩阵；第四步：去除前次迭代的连通域，将剩下的较暗连通域亮度提升，选择全局阈值对图像做二值化处理，提取连通域并做质心标记，形成第2次迭代质心矩阵，计算每一个质心和上一次迭代所有质心的欧式距离，确定最小距离，并判断是否属于同一个苹果；重复此步骤直到苹果区域完全被覆盖；第五步：将确定的质心点绘制在苹果原图上，输出苹果数量和质心矩阵。
2 基于迭代的苹果图像分割
2.1 图像预处理 图1所示苹果图片是RGB格式，白色背景对后续处理易产生干扰，在预处理阶段首先将白色背景转换为黑色，也就是RGB三通道的值都置为0，如图2（a）所示。 通过比较RGB三通道对应的灰度图后发现，R通道的灰度图目标和背景区分度较大，图像的灰度值分布较适合该研究的分割算法，选用R通道对应的灰度图作为目标图片，如图2（b）所示。
2.2 阈值分割 一般图像分割是指将图像划分为一系列相互不重叠的独特性质区域[6]。每一种图像分割算法都有自身的局限性和应用范围，需根据具体问题，选择和研究其图像分割算法[7]。在进入第1次迭代之前，为了满足图像矩阵的计算需要，先对R矩阵做一次归一化处理。进入第1次迭代后，将图像的灰度级设为8。观察到苹果上的灰度值明显分布在3个灰度级上，且3个灰度级区域连接成片；苹果表面较亮部分的灰度值大于0.86。因此，在二值化中将阈值设为固定值0.9，后面的多次迭代通过调整图片亮度来适应此固定值；另外一种方法是，将此阈值用表达式来定义，通过表达式来获取每次迭代的阈值；该研究使用第1种方法，第一次迭代二值化结果如图3（a）所示。
使用开运算和面积开运算去除二值化结果中的小面积亮区域[8]，使第1次迭代能够处理每一个苹果第一层高亮部分的区域，并将其他的小区域噪点剔除。该例中使用的开运算结构元素为方形，大小为5×5；由最小苹果表面像素数的1/5确定剔除最小区域面积为600个像素效果最好，运算结果如图3（b）所示。可以看到，第1次迭代获得7个像素数量相当的区域，代表第1次迭代中成功提取7个苹果出来。由于每个苹果最多存在3个明显的灰度级，所以最多再迭代2次即可获得整颗苹果的表面像素，3次迭代分割图像如图4所示。
2.3 质心提取和识别 在3次迭代分割图像中，还存在一些混淆区域，这些区域的像素数是正常苹果表面像素数的一半左右，可以通过匹配度来区别。
首先查找分割图像的边界，绘出连通区域并计数，该例中，3次迭代的连通区域数量分别为49、21和25；然后设置匹配度的函数为metric =area/500，area为连通域的像素数，该例中metric在[2，20] 范围内均认为符合匹配度要求；最后在质心的附近标出匹配度。结果显示，3次迭代分割出的大面积苹果灰度区域数量分别为7、5和6个，结果如图5所示。
3 基于欧氏距离的苹果质心识别
从第2次迭代开始，就产生对同一苹果的重复标定，即产生多余的质心；为了剔除这些多余的质心，提高算法的识别精度，使用欧式距离进行甄别。对于迭代计算出的每一个质心，确定其坐标，并将坐标值放入一个2×n矩阵中，n可以无限拓展，第1次迭代质心矩阵为2×7阵，第2次为2×5阵，第3次为2×6阵，合并成为一个2×18阵；计算第2次的每一个质心和第1次所有质心的欧式距离，计算第3次的每一个质心和第2次所有质心的欧式距离，得到距离最近的质心，如果相邻质心距离小于阈值，那么判断两质心处于同一个苹果上，第2个质心需做剔除处理，该例中，第1个阈值为60，第2个阈值为65；最终，确定10个有效质心，即识别结果为10个苹果。识别出的质心矩阵如表1所示，苹果数量识别如图6所示。
4 结论
（1）針对苹果生产线上的检测分级过程中面临的多个苹果堆叠以及图像采集中不可避免的光照不均匀情况，应用多次迭代分割图像，并处理出质心；采用欧氏距离剔除重复质心，最终成功获取到苹果数量。
（2）从处理的图片看，该图有两层堆叠，在这个情况下处理出来的精度为90%；误差来源于第3次迭代质点并未和第1次迭代质点进行欧式距离处理，导致第3次迭代有1个质点和第1次的质点重复标定了同一个苹果。
（3）该算法使用苹果的颜色和形态特征进行识别，苹果的颜色级别差异较大时，可以调整迭代次数来获得更高的精度；该算法对于粘连物体，不仅是苹果，其他颗粒物体或者微观细小物质，都具有一定精度的分割识别效果。
参考文献
[1] 赵茂程，侯文军.我国基于机器视觉的水果自动分级技术及研究进展[J].包装与食品机械，2007，25（5）：5-8.
[2] 刘全良，王洪.苹果分类识别中的分形问题研究[J].计算机工程与应用，2002，38（17）：244-247.
[3] 安爱琴，余泽通，王宏强.基于机器视觉的苹果大小自动分级方法[J].农机化研究，2008（4）：163-166.
[4] 李伟，康晴晴，张俊雄，等.基于机器视觉的苹果表面纹理检测方法[J].吉林大学学报（工学版），2008，38（5）：1110-1113.
[5] 石瑞瑶，田有文，赖兴涛，等.基于机器视觉的苹果品质在线分级检测[J].中国农业科技导报，2018，20（3）：80-86.
[6] 章毓晋.图像工程：中册[M].北京：清华大学出版社，2005：73-105.
[7] 陈科尹，邹湘军，熊俊涛，等.基于视觉显著性改进的水果图像模糊聚类分割算法[J].农业工程学报，2013，29（6）：157-165.
[8] 杨帆，王志陶，张华.精通图像处理经典算法[M].北京：北京航空航天大学出版社，2014.
关键词 机器视觉；苹果生产线；图像分割；全局阈值迭代；算法
中图分类号 S126 文献标识码 A 文章编号 0517-6611（2018）29-0180-03
Abstract A global threshold iterative algorithm was proposed for multiple apple stacking in the process of detection and classification in apple production line.R value matrix of apple image in RGB image space was used to segment the adhesive apples.The Euclidean distance characteristics of the centroid of each connected domain were extracted by multiple iterative calculation and the repeated centroid was eliminated.After three iterations，the number of apples was determined and the precision of the algorithm was 90%.The research can provide technical support for automatic design of apple selection line .
Key words Machine vision； Apple production line；Image segmentation；Global threshold iterative；Algorithm
苹果是中国市场上的主要水果之一，苹果产业是水果产业的重要组成部分。为了满足人们日益增长的生活水平需求，苹果产业正向着量产化、智能化方向发展。苹果采摘后需要经过检测、分级、清洗等工序，其中尤以检测分级工序技术要求高，难度大，正因如此，苹果自动检测分级技术成为提升苹果产后处理水平的重要手段之一，成为增加苹果产业附加值和降低其产业人工成本的重要工具。随着计算机技术的迅速发展，计算机及视觉设备价格大幅下降而速度成倍提升，为计算机视觉技术的广泛应用创造了条件[1]。应用机器视觉对苹果生产线进行智能化改造成为研究热点，而苹果图像分割和识别技术是其中不可或缺的一环。
刘全良等[2]提出一种基于分形理论的苹果属性分类识别方法，通过机器视觉获取苹果彩色图像并进行处理，实现苹果属性的准确检测和分类。安爱琴等[3]介绍采用机器视觉的苹果大小自动分级方法，应用MATLAB软件编程实现了对样本图像的背景去除、二值化、图像平滑、特征量提取和图像标定等处理，参照苹果分级的国家标准完成苹果自动分级。李伟等[4]提出一种基于机器视觉技术的苹果表面纹理检测分级方法，提取苹果目标，使用不同算法灰度化图像，根据纹理位于圖像中灰度突变处的特点，采用典型梯度算法，对目标图像进行2次梯度锐化，对图像进行滤波去噪使纹理更加突出，利用绝对差分算法，计算图像的平均梯度，选取阈值55，将苹果分为纹理鲜明A级果和纹理不鲜明B级果。国内学者在苹果品质检测方面提出各具特点的解决方案，获得不少研究成果[5]；但是，这些研究成果大多集中在单个苹果品质的分级技术中，在成堆苹果方面的分割识别研究较少。
该研究针对苹果检测识别技术中面临的多个苹果分割识别现象，提出一种全局阈值迭代算法，在RGB 图像空间利用苹果图像的R值矩阵对粘连苹果进行分割，提取各连通域质心的欧式距离特征，进行3次迭代之后，合并迭代图像并进行筛选，最终确定苹果的分割数量。
1 全局阈值迭代分割算法
受光照强度影响，在不同的苹果图像区域存在明暗变化，给图像的分割带来很大干扰；同时，多个苹果交叠，导致苹果连通域粘连（图1）。试验发现，传统的二值化算子进行分割计数的误差较大。该研究提出的全局阈值迭代分割算法的基本思想是：利用R值灰度图上单个苹果的灰度值梯度变化规律，开始时选择一个阈值提取较亮部分，分割出苹果连通域并识别质心；第二步将剩余较暗连通区域的亮度提升，选择新阈值提取较亮部分，分割出苹果连通域并识别质心；重复迭代第二步直到苹果所在区域完全被提取；多次迭代获得苹果连通域质心矩阵，对相邻迭代质心进行欧氏距离计算，判断2个连通域是否处于同一个苹果上并进行处理，计算苹果数量并做标记。步骤如下：
第一步：将背景和目标分离，背景设置为黑色，目标不变；第二步：将图像在RGB空间分离为3个矩阵，选择R矩阵形成灰度图，并降低灰度级；第三步：第1次迭代，选择全局阈值对图像做二值化处理，提取连通域并做质心标记，形成第1次迭代质心矩阵；第四步：去除前次迭代的连通域，将剩下的较暗连通域亮度提升，选择全局阈值对图像做二值化处理，提取连通域并做质心标记，形成第2次迭代质心矩阵，计算每一个质心和上一次迭代所有质心的欧式距离，确定最小距离，并判断是否属于同一个苹果；重复此步骤直到苹果区域完全被覆盖；第五步：将确定的质心点绘制在苹果原图上，输出苹果数量和质心矩阵。
2 基于迭代的苹果图像分割
2.1 图像预处理 图1所示苹果图片是RGB格式，白色背景对后续处理易产生干扰，在预处理阶段首先将白色背景转换为黑色，也就是RGB三通道的值都置为0，如图2（a）所示。 通过比较RGB三通道对应的灰度图后发现，R通道的灰度图目标和背景区分度较大，图像的灰度值分布较适合该研究的分割算法，选用R通道对应的灰度图作为目标图片，如图2（b）所示。
2.2 阈值分割 一般图像分割是指将图像划分为一系列相互不重叠的独特性质区域[6]。每一种图像分割算法都有自身的局限性和应用范围，需根据具体问题，选择和研究其图像分割算法[7]。在进入第1次迭代之前，为了满足图像矩阵的计算需要，先对R矩阵做一次归一化处理。进入第1次迭代后，将图像的灰度级设为8。观察到苹果上的灰度值明显分布在3个灰度级上，且3个灰度级区域连接成片；苹果表面较亮部分的灰度值大于0.86。因此，在二值化中将阈值设为固定值0.9，后面的多次迭代通过调整图片亮度来适应此固定值；另外一种方法是，将此阈值用表达式来定义，通过表达式来获取每次迭代的阈值；该研究使用第1种方法，第一次迭代二值化结果如图3（a）所示。
使用开运算和面积开运算去除二值化结果中的小面积亮区域[8]，使第1次迭代能够处理每一个苹果第一层高亮部分的区域，并将其他的小区域噪点剔除。该例中使用的开运算结构元素为方形，大小为5×5；由最小苹果表面像素数的1/5确定剔除最小区域面积为600个像素效果最好，运算结果如图3（b）所示。可以看到，第1次迭代获得7个像素数量相当的区域，代表第1次迭代中成功提取7个苹果出来。由于每个苹果最多存在3个明显的灰度级，所以最多再迭代2次即可获得整颗苹果的表面像素，3次迭代分割图像如图4所示。
2.3 质心提取和识别 在3次迭代分割图像中，还存在一些混淆区域，这些区域的像素数是正常苹果表面像素数的一半左右，可以通过匹配度来区别。
首先查找分割图像的边界，绘出连通区域并计数，该例中，3次迭代的连通区域数量分别为49、21和25；然后设置匹配度的函数为metric =area/500，area为连通域的像素数，该例中metric在[2，20] 范围内均认为符合匹配度要求；最后在质心的附近标出匹配度。结果显示，3次迭代分割出的大面积苹果灰度区域数量分别为7、5和6个，结果如图5所示。
3 基于欧氏距离的苹果质心识别
从第2次迭代开始，就产生对同一苹果的重复标定，即产生多余的质心；为了剔除这些多余的质心，提高算法的识别精度，使用欧式距离进行甄别。对于迭代计算出的每一个质心，确定其坐标，并将坐标值放入一个2×n矩阵中，n可以无限拓展，第1次迭代质心矩阵为2×7阵，第2次为2×5阵，第3次为2×6阵，合并成为一个2×18阵；计算第2次的每一个质心和第1次所有质心的欧式距离，计算第3次的每一个质心和第2次所有质心的欧式距离，得到距离最近的质心，如果相邻质心距离小于阈值，那么判断两质心处于同一个苹果上，第2个质心需做剔除处理，该例中，第1个阈值为60，第2个阈值为65；最终，确定10个有效质心，即识别结果为10个苹果。识别出的质心矩阵如表1所示，苹果数量识别如图6所示。
4 结论
（1）針对苹果生产线上的检测分级过程中面临的多个苹果堆叠以及图像采集中不可避免的光照不均匀情况，应用多次迭代分割图像，并处理出质心；采用欧氏距离剔除重复质心，最终成功获取到苹果数量。
（2）从处理的图片看，该图有两层堆叠，在这个情况下处理出来的精度为90%；误差来源于第3次迭代质点并未和第1次迭代质点进行欧式距离处理，导致第3次迭代有1个质点和第1次的质点重复标定了同一个苹果。
（3）该算法使用苹果的颜色和形态特征进行识别，苹果的颜色级别差异较大时，可以调整迭代次数来获得更高的精度；该算法对于粘连物体，不仅是苹果，其他颗粒物体或者微观细小物质，都具有一定精度的分割识别效果。
参考文献
[1] 赵茂程，侯文军.我国基于机器视觉的水果自动分级技术及研究进展[J].包装与食品机械，2007，25（5）：5-8.
[2] 刘全良，王洪.苹果分类识别中的分形问题研究[J].计算机工程与应用，2002，38（17）：244-247.
[3] 安爱琴，余泽通，王宏强.基于机器视觉的苹果大小自动分级方法[J].农机化研究，2008（4）：163-166.
[4] 李伟，康晴晴，张俊雄，等.基于机器视觉的苹果表面纹理检测方法[J].吉林大学学报（工学版），2008，38（5）：1110-1113.
[5] 石瑞瑶，田有文，赖兴涛，等.基于机器视觉的苹果品质在线分级检测[J].中国农业科技导报，2018，20（3）：80-86.
[6] 章毓晋.图像工程：中册[M].北京：清华大学出版社，2005：73-105.
[7] 陈科尹，邹湘军，熊俊涛，等.基于视觉显著性改进的水果图像模糊聚类分割算法[J].农业工程学报，2013，29（6）：157-165.
[8] 杨帆，王志陶，张华.精通图像处理经典算法[M].北京：北京航空航天大学出版社，2014.