基于卷积神经网络算法处理的稻米参数评定分析仪

步东伟

(郑州大学 信息工程学院,河南 郑州 450007)

摘 要:基于电荷耦合元件(Charge-coupled Device,CCD)摄像头的嵌入式硬件平台和卷积神经网络(Convolutional Neural Networks,CNN)算法原理,研发对采集图像进行灰度和卷积处理的稻米参数评定分析仪,通过 CNN算法分析出米粒边缘及透明度比较高的部分,并根据预设的第一阈值进行边缘切割,分离出单个米粒,并计算该米粒的总像素数、最长直线像素数、最宽直线像素数,而后计算图像中小于第二设定阈值的像素数,用该像素数除以总像素数计算垩白度,将计算出来的长度、宽度、长宽比、垩白度与国家标准比对,给出所测试的稻米参数,通过对8组实验样品测试分析结果表明,单次样品绝对误差值为0.02,相对误差值为–0.31%,相关数据可上传到上位机用于品质管控,本稻米参数评定分析仪原理和算法具有一定创新性,能缩短检测时间,提高检测精准度,具有一定的应用价值。

关键词:卷积神经网络算法;图像处理;稻米长度;垩白度

我国作为世界上最大的稻米生产国和消费国之一,国家对稻米的品质非常重视,人们对稻米的精深加工、品种和质量的要求越来越高,为此颁布国家标准GB/T 17891—2017《优质稻谷》[1]、GB1350—2009《稻谷》[2]、GB/T24535—2009《稻谷粒型检验方法》[3],为我国优质稻谷的生产与开发提供了重要的依据,文献[4-6]对整精米的标准应用进行阐述分析。其中粒型参数包括米粒的长度、宽度、长宽比、垩白度等参数,这些参数用于稻米等级评定参考,现行粒型的检测方法主要采用人工测量的方法获得,用直尺测量10粒稻米的总长度和宽度,从而计算出粒型,这种方法受检测人员的主观因素影响,且该检测方法的检测时间长、可操作性和重复性差,影响检测结果的合理性,不能满足稻米收购、储藏等过程中对品质检测的快速、客观和准确性要求,影响了稻米的流通和加工品质的提高,为此国内外很多学者提出了不同的处理设备和方法,比如提出技术模式识别的测试方法,缺点是速度慢,成本高,精度不好控制[7-11]。也有很多学者将卷积神经网络(Convolutional Neural Networks,CNN)用于农业检测[12-17],用于提高农产品检测设备的智能化。

基于此,本文提出了一种基于CNN算法处理的稻米参数评定分析仪,可以快速检测出稻米的形态参数,并给出参数指标,为稻米的存储和种子选取做好了准备,本设备成本低,操作方便,便于携带,有利于现场使用,便于本设备的后期推广应用。

1 稻米参数评定分析仪研制

1.1 分析仪结构设计

本分析仪采用基于电荷耦合元件(Chargecoupled Device,CCD)摄像头的嵌入式硬件平台,便于产品小型化,便于现场应用,分析仪具有良好的人机交互界面,多按键输入,可以输入预定阈值,可以根据经验或者标准米粒的参数进行CNN阈值设计,硬件平台通过CCD摄像头采集稻米形态图片,稻米被抽取到一个密闭的振动空间平台上,密闭空间平台顶端摄像头抓取图像,而后把数据送给嵌入式处理器,嵌入式处理器对数据进行 CNN网络处理或者直接把数据给上位机,在上位机上做处理,此时嵌入式前端设备就相当于上位机的一个机器视觉传感器,该分析仪的结构原理图如图1所示。

图1 硬件结构原理图
Fig.1 Schematic diagram of hardware structure

图像抓取装置,由1CCD摄像头、2采集箱、3振动、4凹平面、5光源组成,CCD摄像头抓取图像装置如图2所示。

图2 图像采集装置结构图
Fig.2 Structure diagram of the image capture device

1.2 软件设计

1.2.1 CNN算法原理

CNN算法是一种类生物进程,其中神经元之间的联结模式和动物视觉皮层组织非常相似;是一种前馈神经网络,拥有卷积计算,是深度学习的代表算法之一[16]。具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,因此也被称为“平移不变人工神经网络”。

CNN算法利用输入是图片的特点,把神经元设计成三个维度:width,height,depth。比如输入的图片大小是 120×120×3 (rgb),那么输入神经元就也具有3个维度,神经网络解过程如图3所示。

图3 神经网络解过程
Fig.3 The solution process of Neural Network

矩阵求解过程如图4所示,本文中将应用矩阵求解计算米粒图像的像素数。

图4 卷积神经网络的矩阵求解过程示意图
Fig.4 Schematic illustration of matrix solving process based on Neural Network

1.2.2 嵌入式平台抓取图像的流程

嵌入式平台采集稻米粒型图片过程如图5所示。

图5 稻米粒型图片采集流程图
Fig.5 The collection flowchart of rice image

1.2.3 CNN算法分析应用

首先将原始图像转换为灰度图像,然后利用卷积核g1识别出稻米边缘和垩白部分,而后,根据稻米米粒的像素数计算相关米粒的参数。

卷积核g1是滑动窗口,原始图像I1,处理为灰度图像I2,I2与g1卷积,步长stride,

采用(2)的方式,使得输入图片宽度win像素和输出图片宽度wout像素大小一样,kernel_size=3为 g1,padding=1,stride=1,不会改变卷积前后特征图的大小。

根据以上得I2×g1得到图片 I3,设定阈值LEVEL1=x1,x1为经验值,图像 I3二值化处理后得到图像 I4,设定阈值 LEVEL2=x2,x2为经验值,根据I3得到垩白图像I5。

1.2.4 稻米形态参数计算

单个米粒图像阈值分割,首先根据CNN算法后的图像,设定LEVEL1=t1的值,将小于阈值t1的像素量化成零,大于阈值t1的像素量化成1。

以两个邻近像素点间的距离为单位长度,即以像素间距为长度测量单位,建立单米粒坐标图如图6所示,建立二维数组pixel[y][x],

图6 单米粒坐标图
Fig.6 The coordinates of single rice

权值分别为:R取 0.399、G取 0.497、B取0.104,进行图像灰度化,而后CNN卷积处理后,设定t1=Grey,则图其转化过程如图7所示。

图7 米粒图像分割图
Fig.7 The segmentation picture of rice image

根据公式(3)、(4)、(5),取米粒数 16粒,进行加权平均值值计算,计算结果长度L1......L16,宽度W1..W16,对应计算,n=1...16,可以计算单幅图像中的米粒参数。

根据公式(7)计算单幅图像的整个米粒整精度,作为本次抽样的检测依据,对米粒进行参数评分。

设定 LEVEL2=t2的值,将小于阈值 t2的像素量化成零,大于阈值t2的像素量化成1。

进行垩白像素计算,根据t1计算所有米粒像素 pixel_1,根据t2计算所有垩白像素pixel_2,而后根据公式(8)计算整幅图像米粒的垩白度。

可连续采集多幅图像,求出所有图像的相应参数的算术平均值,即可做为该类稻米的相关参数。如果出现稻米米粒在同一平面上边缘相切的情况,依然可以使用文中的方法进行边缘切割,不影响稻米米粒的总数统计,可以看成图7的一种特殊情况,两个米粒间距为 0,按照文中方法进行处理既可。

1.3 数据分析

抽样8组,每组样品米粒16个,每组均匀分布,样品为整精米和碎米混合物随机分布,整精米率0%~100%随机分布,测试结果如表1所示,GB/T24535—2009[3]中定义粒型(长宽比)指的是完整精米粒长度与宽度的比值,无量纲。

表1 稻米粒型检测结果
Table 1 The detection result of rice shape

方法 1 2 3 4 5 6 7 8样品编号人工 3.25 3.22 3.18 2.92 3.08 3.39 3.33 3.24大米 分析仪 3.24 3.22 3.17 2.90 3.06 3.39 3.31 3.24绝对误差 0.01 0 0.01 0.02 0.02 0 0.02 0

表中的人工和分析仪行的数据为测试米粒的长宽比,无量纲。单粒米粒样品绝对误差最大值为0.02;人工测试所得平均值作为标准As,分析仪的平均值,根据相对误差公式可以计算相对误差值Δe。

取绝对误差和相对差中的最大值为参数评定参考,则本组测试数据的最大误差为 0.02,检测结果表明,分析仪检测结果与人工检测的结果高度相关。

2 总结

基于CNN算法处理的稻米参数评定分析仪,实现了根据国家标准 GB/T17891、GB1350、GB/T24535对稻米粒型参数的快速划分,分析仪测试结果和人工测试结果误差在0.02以下,垩白参数的计算,可以根据灰度图像中灰度值的不同,设定合适的灰度阈值,进行垩白位置、垩白大小、垩白度等垩白参数计算。净稻谷、出糙率、未熟粒等参数的CNN算法应用,有待以进一步研究,以便于CNN算法在稻米参数检测中的推广应用。

参考文献

[1]优质稻谷:GB/T 17891—2017[S].北京:国家标准化管理委员会,2017.High quality paddy:GB/T 17891—2017[S].Beijing:Standardization Administration,2017.

[2]稻谷:GB1350—2009[S].北京:国家标准化管理委员会,2009.Paddy:GB1350—2009[S].Beijing:Standardization Administration,2009.

[3]稻谷粒型检验方法:GB/T24535—2009[S].北京:国家标准化管理委员会,2009.Determination for ratio of length to width of paddy:GB/T24535—2009[S].Beijing:Standardization Administration,2009.

[4]吕呈蔚,岳玉兰,王政,等.糙米营养价值及加工技术研究进展[J].粮油食品科技,2020,28(6):140-144.LV C Y,YUE Y L,WANG Z,et al.Research progress on the nutritional value and processing technology of brown rice[J].Science and Technology of Cereals,Oils and Foods,2020,28(6):140-144.

[5]王利丹,何明涛,张颖,等.国际标准化组织粮油标准体系浅析[J].粮油食品科技,2020,28(6):182-190.WANG L D,HE M T,ZHANG Y,et al.Simple analysis on the grain and oil standard system of international organization for standardization[J].Science and Technology of Cereals,Oils and Foods,2020,28(6):182-190.

[6]杨健,张星灿,华苗苗,等.稻米全产业链可追溯关键技术研究进展[J].粮油食品科技,2020,28(2):43-48.YANG J,ZHANG X C,HUA M M,et al.Progress in key technologies for traceability of rice industry chain[J].Science and Technology of Cereals,Oils and Foods,2020,28(2):43-48.

[7]张巧杰,王一鸣,凌云,等.稻谷品质检测技术与装置研究[J].农业机械学报,2006,1:127-129.ZHANG Q J,WANG Y M,LING Y,et al.Detection technology and an apparatus for grain quality[J].Transactions of the CSAM,2006(1):127-129.

[8]凌云,王一鸣,孙明,等.基于机器视觉的大米外观品质检测装置[J].农业机械学报,2005,36(9):89-91.LING Y,WANG Y M,SUN M,et al.A machine vision based instrument for rice appearance quality[J].Transactions of the CSAM,2005,36(9):89-91.

[9]尚艳芬,候彩云,常国华.基于图像识别的黄粒米自动检测研究[J].农业工程学报,2004(4):146-148.SHANG Y F,HOU C Y,CHANG G H.Automatic detection of yellow-colored rice using image recognition[J].Transactions of the CSAE,2004,20(4):146-148.

[10]候彩云,王一鸣,凌云,等.垩白米粒的计算机图像识别[J].农业工程学报,2002,18(3):165-168.HOU C Y,WANG Y M,LING Y,et al.Discernment of chalky rice kernel with image processing system[J].Transactions of the CSAE,2002,18(3):165-168.

[11]吴彦红,刘木华,杨君,等.基于计算机视觉的大米外观品质检测[J].农业机械学报,2007,38(7):107-111.WU Y H,LIU M H,YANG J,et al.Rice outer-quality inspection based on computer vision[J].Transactions of the CSAM,2007,38(7):107-111.

[12]张诗雨,夏凯,杜晓晨,等.一种基于聚类特征的 Faster R-CNN粮仓害虫检测方法[J].中国粮油学报,2020,(4):165-172.ZHANG S Y,XIA K,DU X C,et al.A faster R-CNN method for insect detection in granary based on clustering feature[J].Journal of the Chinese Cereals and Oils Association,2020,(4):165-172.

[13]邓玉睿,周勇,唐芳,等.BP神经网络在粮食霉变预测中的应用研究[J].中国粮油学报,2019,(4):128-132.DENG Y R,ZHOU Y,TANG F,et al.Application of BP neural network in prediction of grain mildew[J].Journal of the Chinese Cereals and Oils Ass Ociation,2019,(4):128-132.

[14]辜世伟,胡云均,刘方菁,等.不同加工精度对稻谷中镉含量的影响[J].中国粮油学报,2019,(8):8-12.GU S W,HU Y J,LIU F J,et al.Effect of different processing precision on cadmium content in paddy rice[J].Journal of the Chinese Cereals and Oils Ass Ociation,2019,(8):8-12.

[15]赵红伟,陈仲新,姜浩,等.基于 Sentinel-1A 影像和一维CNN的中国南方生长季早期作物种类识别[J].农业工程学报,2020,36(3):169-177.ZHAO H W,CHEN Z X,JIANG H,et al.Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN[J].Transactions of the CSAE,2020,36(3):169-177.

[16]曹婷翠,何小海,董德良,等.基于 CNN 深度模型的小麦不完善粒识别[J].现代计算机,2017,(36):9-14.CAO T C,HE X H,DONG D L,et al.Identification of unsound kernels in wheat based on CNN deep model[J].Modern Computer,2017,(36):9-14.

[17]王浩云,李晓凡,李亦白,等.基于高光谱图像和3D-CNN的苹果多品质参数无损检测[J].南京农业大学学报,2020,43(1):178-185.WANG H Y,LI X F,LI Y B,et al.Non-destructive detection of apple multi-quality parameters based on hyperspectral imaging technology and 3D-CNN[J].Journal of Nanjing Agricultural University,2020,43(1):178-185.

A Morphological Analyzer for Rice Shape Based on CNN Method

BU Dong-wei
(Zhenzhou University,Institute of Electric Information Engineering,Zhengzhou,Henan 450007,China)

Abstract:A morphological analyzer for rice shape with gray and convolution processing of collected images was developed in this article based on embedded hardware platform of charge coupled device (CCD) camera and algorithm principle of convolutional neural networks (CNN).The camera gets the morphological image of rice,and translates it to gray level image,then the analyzer processes the image data using CNN network by the first and second threshold,the analyzer can get the edge of a race in the image,and gains all the pixels of the rice,counts the length and wide of the rice,gets the square of the race image.Then according the state standard,it gives the grade of the testing race.Eight groups of experimental samples were tested and analyzed,and the results showed that the absolute error of a single sample was 0.02,and the relative error was –0.31%.Meantime,the analyzer can uploaded the relative data to computer for quality control.The principle and algorithm of the rice parameter evaluation analyzer in this research is innovative and has a certain application value,which can shorten the detection time and improve the detection accuracy.

Key words:CNN method; image processing; rice length; chalkiness

中图分类号:TS212.7; TP216.3; TS213.3

文献标识码:A

文章编号:1007-7561(2021)04-0187-05

DOI:10.16210/j.cnki.1007-7561.2021.04.025

步东伟.基于卷积神经网络算法处理的稻米参数评定分析仪[J].粮油食品科技,2021,29(4):187-191.

BU D W.A morphological analyzer for rice shape based on CNN method[J].Science and Technology of Cereals,Oils and Foods,2021,29(4):187-191.

收稿日期:2021-01-14

作者简介:步东伟,男,1981年出生,双硕士,高级工程师,研究方向为信号检测和算法分析。E-mail:zztt_bdw@126.com.