上海大学2014 ～ 2015 学年 春季 学期 研究生课程考试
课程名称： 机器视觉 课程编号： 09SAT9006
论文题目: 水果分级方法的研究综述
研究生姓名: 华明亚 学 号: 14721353
论文评语:
成 绩: 任课教师: 朱方文
评阅日期:
水果分级方法的研究综述
华明亚
（上海大学 机电工程与自动化学院，上海200072）
摘要：顾客在购买水果时经常以水果的表面好坏来判断水果的质量。水果的表面品质会直接影响着水果的经济价值。因此水果的分类检测将变得十分有必要。传统的水果分类方法主要依靠人工的方法，近年来由于人力成本的增加，这种方法会极大的降低水果的经济效益。因此市场上需要一种能自动化检测分类水果的设备。运用机器视觉技术能够有效的对水果进行分类检测。本文将介绍基于水果不同特征的水果分级方法，其中包括基于水果的大小，形状，颜色和表面缺陷的水果分级方法；基于水果的内部品质检测的方法。并简要说明这些方法的特点以及检测结果的准确度。 关键词：机器视觉；分类检测方法；图像处理；
Review of research on fruit classification and detection method
Hua Mingya
(School of mechanical engineering and automation, Shanghai University, Shanghai 200072, China)
Abstract:: When customers buy fruit , they usually estimate the valueness of fruit depending on the surface of fruit. The surface quality of fruits will directly affect the economic value of fruits. The classification and detection of fruit will become very necessary. Traditional fruit classification methods mainly rely on artificial method. In recent years due to the increase in labor costs, this method will greatly reduce the fruits of economic benefits. Therefore, the market needs a automation detection and classification of fruit. The use of machine vision technology can effectively classify fruit classification. This paper will introduce fruit classification method based on different characteristics of the fruit, including fruit grading methods based on fruit size, shape, color and surface defects and based on fruit internal quality inspection method. And the characteristics of these methods and the accuracy of the results are briefly explained.. Key words: Machine vision; detection and classification method; image processing;
1 引言
我国是世界果树大国，栽培历史悠久，资源丰富，水果和干果达50 余种，是世界果树起源最早、种类最多的著名果树古国之一。但是，由于近年来水果生产发展过快，我国水果生产中存在着单纯追求数量，忽视质量的问题，且结构较单一、供应不均衡、优质水果比例不高，达到出口标准的高档果率不足5%，与国际先进水平比较起来，存在着较大的差距[1]。 水果的检测与分类分级，从而挑选出优质水果，实现水果最大的经济价值非常重要。目前我国的水果后期处理主要是靠人工分拣和分级实现，不可避免地存在一些问题，比如长时间单调重复的检测工作导致人的疲劳使得检测准确度降低、分级标准因人而异使得分级精度不够稳定等。水果分拣分级的自动化是提高产品质量、促进我国农业现代化的迫切需要[2]。机器视觉成功的应用在水果检测分类的领域，有效的解决了这样一个问题。目前机器视觉技术逐渐走向成熟。
对水果的分类有不同的依据，大多数水果都是依据水果的外部特征进行分类的，如水果的大小，形状，颜色，缺陷等。但是对于一些有特殊要求的水果则需要通过对水果的内部特征进行检测，然后依据水果的内部品质特征进行分类。
1
2 基于水果外部品质分级方法
2.1 基于水果大小的分级方法
大小是水果的重要特征之一，按果实大小进行检测分级，选出的果实大小基本一致，有利于包装贮存和加工处理。用于测算水果大小的特征有面积、周长、长短轴尺寸、体积等。 农产品外观复杂、形状上不规则，从不同角度观察，呈现不同的形状和色泽，因此导致了这些特征、依赖于摄像机获取图像的角度。通过组合不同角度的图像信息可得到目标相对准确的尺寸。Throop 等通过平移和旋转苹果来获取不同角度的图像，根据这些图像计算出苹果的赤道半径和面积，然后，把苹果视为椭球体，计算出苹果的长轴和短轴，并据此估算苹果的大小。体积也是检测水果大小的常用指标，但这种方法比用面积、周长等基于二维平面图像处理起来更为复杂、计算量更大。Koc研究了西瓜的体积测算算法，通过对采集到的图像进行处理，在不同的投影面上获取图像的轮廓线，形成轮廓切片，然后沿x 轴 旋转这些轮廓切片，通过把得到的切片组合起来测算出西瓜的体积。国内方面，应义斌等利用机器视觉技术精确检测水果尺寸，建立了图像中的点与被测物体上的点之间的定量关
[5]
[4]
[3]
系，利用物体的边界信息求出物体的形心坐标，进而提出了一种面积修正算法，检测精度达96%。在此基础上，饶秀勤等[6]分析了水果实际尺寸与测量值之间的半径误差是由成像时光线无法从水果最大截面处通过所致，根据成像时水果、摄像机透镜、图像三者之间的相互关系，运用几何光学理论分析了尺寸检测中的各种误差及产生的原因，并给出了标定误差的计算公式和半径的估算公式。
2.2 基于水果形状的分级方法
水果的形状受生长环境因素的影响千差万别，不同种类的水果形状也是多种多样, 难以用数学方法描述。目前描述水果形状的方法很多, 但描述形状不规则的水果时精度较低, 采用边界半径和傅立叶变换对水果的外形进行描述, 不仅准确性高而且速度快。
Paulus[7]等将苹果半径序列进行傅立叶展开，分别取前12 项余弦系数和前12 项正弦系数进行主分量变换PCT，取最大的2 个主分量（分别表示长宽比、锥度）作为特征值对苹果进行分类，相关性超过0.98。林开颜等[8]提出了基于傅立叶变换的水果形状分级方法，用梯度法检测图像边缘，边界跟踪算法获取水果轮廓半径序列，将其离散傅立叶变换，最后用傅立叶系数定义分类器，根据给定的分类阈值对水果形状进行分类。对不同水果形状的实验证明了这种方法的有效性。 2.3 基于水果颜色的分级方法
外表颜色是水果的最重要外观参数之一，消费者常常根据果品的颜色来决定是否购买。在计算机视觉图像系统中，像素的颜色通常用水果图像在RGB彩色空间中的3 个坐标值来表示，即(R，G，B)。
Nakano[9]利用神经元网络对红富士苹果进行分类。第一步，根据颜色、位置、平均颜色对苹果表面像素进行分类；第二步，根据水果平均颜色、颜色偏差、缺陷像素、正常红色像素比例等参数对苹果进行颜色等级的分类，正确分级率约为70％。 Blasco 等人[10]分别使用了像素RGB 平均值和对R/G 设定简单阈值的方法来实时地区分四种不同石榴的品种，区分的成功率高于90%。康晴晴采用对苹果表面颜色特性进行分析，得到三个特征参数: 表面红区比例、表面平均色度和表面着色均匀度。分别通过计算合适色度值下所对应的累计频度和苹果图像中各像素点色度的平均值得到前两个特征值。通过计算苹果图像中红色区域形心与整个苹果图像的形心的距离，和同一个苹果不同表面平均色度之差来得到上述第三个特征值。试验结果表明，分级精度达到88.9%以上。 2.4 基于水果缺陷的分级方法
果实表面缺陷与损伤影响水果的内外品质, 表面缺陷包括碰压伤、刺伤、疤痕、腐烂、
2
[11]
虫咬、裂伤及果锈等种类。如何从水果图像中准确地划分出坏损区域, 并对分割出部分加以描述和分类, 一直是水果分级自动检测中的一大难题。
Yang[12]的研究结果称，利用全局参数进行分割的方法适于大的且分散的缺陷， 而纹理方法适合于斑块状的缺陷分割，Yang 利用“洪水”算法(即分水岭分割方法)，来分割片状的缺陷，如褐色斑块、擦伤、萼凹区等，这种方法能消除光反射变化带来的影响，但由于使用了平滑算法导致所检测的缺陷偏大。在缺陷分类标准中，缺陷的大小是一个重要参数，因此对缺陷进行精确分割是非常必要的。后来， 由Yang 和Marchant[13]进行改进，在利用“洪水”算法初始分割后，利用活动轮廓模型(或称“蛇形”算法)进行精确分割以提高缺陷位置和大小的精度。蛇形模型的能量函数采用积分运算，具有较好的抗噪性，对目标的局部模糊也不敏感，但容易收敛到局部最优，要求初始轮廓尽可能靠近真实轮廓，而且收敛速度慢。在两者的方法中，需要利用中值滤波或高斯滤波器来消除噪声， 所产生的小的错误缺陷可以用阈值法来消除。
Leemans V.等研究了一个基于缺陷特征的水果实时分级方法。为了能获得水果的全部表面，该文献用一种水果分级机器拍得几幅图像。然后分割图像，提取缺陷。在学习阶段，水果根据缺陷的大小被分为几个子串，对水果的缺陷的分类用了二次判别式法。研究表明，这种分级方法的准确率可达到73%，而错误发生的50%是良性的，而另外50%则是由于缺陷是晒伤或者是撞伤，或者缺陷太靠近果梗和花萼很难被检测到。同时，水果分级的整个过程都会对最近的缺陷检测结果造成影响。为避免系统将水果茎部和花萼误当成损伤的发生， J. Blasco[15]等人设计的系统会将比较长的细长区域作为水果的茎部。找到水果的茎部和花萼以后，确定它的位置并计算出此区域的面积，质心等。然后再检测水果表面的擦伤和缺陷，并计算它的几何特征，作为判断水果表面缺陷的依据。Tao 等[16-18]提出球体灰度变换法，使水果表面的缺陷可用单阈值进行分割，解决了水果图像由于缺陷部分灰度值高于边缘正常部分灰度值而不能一次分割的问题。该方法根据带缺陷的原始图像计算出与原图像相应的反向无缺陷图像，由二者相加得到变换后图像，消除了物体的空间形状对图像灰度值的影响，而只保留了水果缺陷与正常部分之间由于反射系数的不同所产生的灰度变化情况，因此可以利用单阈值分割。但计算与原图像相应的反向无缺陷图像复杂，费时。
[14]
3 基于水果内部品质分级方法
水果的内部品质检测包括内部缺陷检测，含糖量检测，硬度检测和成熟检测。
水果的内部缺陷是影响水果品质的重要因素。Blasco等[19]研究了在可见光、近红外、紫外和荧光等不同波段柑橘常见缺陷的特征，提出了不同波段波谱图像信息融合的缺陷检测方法。试验证明，可见光融合荧光图像后，绿霉病检测准确度从65%提高到94%。Yuichi等 人[20]利用THz( 波长3mm～30μm)波段电磁波对西红柿的内部缺陷进行了无损检测。由于西红柿的内部损伤组织和正常组织含水量不同，对THz 波段电磁波反射率有明显的区别，根据这种区别就能从获取到的图像上识别出西红柿有无内部缺陷。
水果中的含糖量是衡量水果品质的又一项重要指标。近红外检测技术在水果含糖量检测中得到了广泛应用。它是根据不同内部成分的水果对近红外光的吸收、散射、反射和透射等的不同来确定水果成分的一种方法。Luo等在可见光/近红外光谱范围内，研究了脐橙的含糖量无损检测技术。该研究选取了三种不同的光谱范围( 450～1000nm，1000～1800nm 和450～1800 nm) ，分别使用标准正态变量，一阶导数( FD) ，二阶导数( 标准差) ，多元散射校正( MSC) 和建立偏最小二乘( PLS) 平滑模型等五个不同的光谱处理模型确定了脐橙含糖量。结果表明，可见光/近红外光谱技术用于无损检测脐橙含糖量是可行的。
基于普通的水果外部图像很难对水果内部组织的硬度做出估计。高光谱图像与水果的内部组织结构存在某种关联，在水果检测方面的具有极大的技术优势。Lu 等[22]获取了153 个
3
[21]
桃子在光谱范围500～1000 nm 内的超光谱散射图像，并使用洛伦兹函数准确拟合不同波长的超光谱图像; 然后运用多元线性回归及交叉验证的方法建立了不同波长的洛伦兹函数的参数与桃子硬度的关系，开发了硬度预测模型。在使用单一波长情况下，677nm 处的图像与
[23]
硬度相关性最高，而将11个波长组合可以得到最好的建模结果。Qing 等使用了激光二极管获取了水果表面图像在5 种波长( 680nm，780nm，880nm，940nm和980nm)上的散射强度，并通过对散射强度的分析来检测不同产地和成熟期的水果内部果肉的硬度。
光散射技术能够用来检测水果成熟度和组织纹理等特性。Baranyai 等[24]通过对猕猴桃成熟过程中光散射图像各向异性的研究，发现成熟的、优质猕猴桃和过熟猕猴桃各向异性程度上存在显著差异。高光谱成像技术是检测水果成熟度又一项重要的技术。目前这一技术研究的还不够成熟，还没有达到应用的程度。
4 总结和期望
水果的分类检测技术虽然有了很大的进展，但是还存在一些问题。首先，水果的品种多种多样研究仅仅覆盖了其中一小部分。有必要研究用于更多品种水果检测的图像特征数据库，以便使计算机视觉技术在水果品质检测中获得更广泛的应用。其次，现有的计算机视觉水果检测设备往往只针对某一特定品种的水果进行检测分级，对于其他水果需要单独开发检测设备和软件，相应地增加了检测成本，因此有必要对通用的计算机视觉检测技术开展研究。最后，在水果分级设备方面还没有达到完全工业化，未来应该开发有广谱适应性和专用性的分级设备，并集成水果采后处理及包装工序，形成分级机标准化、系列化产品。 参考文献：
［1］庞江伟，应义斌，机器视觉在水果缺陷检测中的研究现状，农机 化 研 究 ，2006.9，第9期，47-49 ［2］刘佳男，基于机器视觉的水果表面缺陷识别方法的研究，江南大学，2012.5;TP391.41，1-1 ［3］ Throop J A，Aneshansley D J，Anger W C，et al． ． Quality evaluation of apples based on surface defects: Development of an automated inspection system ［J］． Postharvest Biol．Technol． ，2005，36( 3) : 281 -290． ［4］ Koc A B． Determination of watermelon volume using ellipsoid approximation and image processing［J］． Postharvest Biol．Technol． ，2007，45( 3) : 366 － 371．
［5］ 应义斌，饶秀勤，赵匀，等． 机器视觉技术在农产品品质自动识别中的应用( I) ［J］．农业工程学报，2000，16( 1) : 103－108．
［6］ 饶秀勤，应义斌．基于机器视觉的水果尺寸检测误差分析［J］．农业工程学报，2003，19( 1) : 121－123．
［7］ PAULUS I， SCHREVENS E . Shape characterization of new apple cultivars by fourier expansion of digitized images. J. Agric. Engng. Res. ，1999,72：113-118.
［8］ 林开颜，吴军辉，徐立鸿。基于计算机视觉技术的水果形状分级方法；[J].农业机械学报，2005,36(6):71-74.
［9］NAKANO K . Application of neural networks to the color grading of apples[J]. Computers and Electronics in Agriculture，1997(18): 105-116.
［10］ Blasco J，Aleixos N，Moltó E． Machine vision system for automatic quality grading of fruit［J］． Biosystems Eng．，2003，85( 4) : 415 － 423．
［11］ 康晴晴． 基于机器视觉的苹果检测分级方法研究［D］． 北京: 中国农业大学，硕士学位论文，2007．
［12］ YANG Q. An approach to apple surface feature detection by machine vision[J]. Computers and Electronics in Agriculture， 1994, (11):249-264.
［13］YANG Q， MARCHANT J A . Accurate blemish detection with active contour models[J]. Computers and Electronics in Agriculture，1996,(14):77-89.
4
水果分级方法的研究综述
