【读论文】——基于高光谱成像技术测定玉米籽粒硬度

Determination of hardness for maize kernels based on hyperspectral imaging
基于高光谱成像技术测定玉米籽粒硬度

思维导图

论文	材料	光谱范围	光谱数据的提取和预处理	使用光谱类型	波长选择方法	模型
Determination of hardness for maize kernels based on hyperspectral imaging基于高光谱成像技术测定玉米籽粒硬度	从不同的生产者那里收集了11个玉米品种。地点为河北省沧州市吴桥县(116◦62′E，37◦69′N)。选育品种为郑单958、中农大678、鲜鱼335、花湾261、京农科728、雨河357、雨河988、东单1331、登海605、西图999和京单58。为了减少温度对籽粒质量的影响(Cruz-Tirado et al.， 2021)，所有组的籽粒都被储存起来在测试前存放在4◦C的塑料袋中。储存时间为3天。	374.98 nm ~ 1038.79 nm范围内的128个波长，分辨率为4.68nm。	(a)获取高光谱图像。(b)选择相应波长(700.47 nm)的图像，样品和背景有明显区别。©阈值分割输出图像。(d)根据形态学原理，通过闭合、打开、闭合、打开等算法对ROI的轮廓进行修改。(e)其他图像被修改后的图像遮挡。(f)提取128个波长的光谱信息，取平均反射率作为样品的原始光谱，得到波长-反射率曲线。(g)提取了231张高光谱图像曲线。	将24粒种子(胚朝下放置)取平均反射率作为样品的原始光谱	逐次投影算法(SPA)	偏最小二乘法PLSR

摘要

为了实现玉米籽粒硬度的快速无损检测，论文提出了一种基于高光谱成像技术的玉米籽粒硬度定量检测方法。首先，建立了硬度与含水率的回归模型;然后，基于399.75 ~ 1005.80 nm波长范围内的反射率高光谱成像，利用基于特征波长的偏最小二乘回归(PLSR)研究了水分含量的预测模型，并通过逐次投影算法(SPA)选择特征波长。最后，通过将水分含量预测模型与硬度回归模型相结合，对硬度预测模型进行验证。硬度预测的决定系数(R2)、均方根误差(RMSE)、性能偏差比(RPD)和误差范围比(RER)分别为0.912、17.76 MPa、3.41和14。因此，本研究为玉米籽粒硬度的快速、无损检测提供了一种方法。

引言

目前，玉米是世界谷类作物中产量最高的(stats.gov.cn, 2021)，可用于粮食生产和加工、饲料生产和工业原料(Watson & Ramstad, 1987)。具有广阔的市场和巨大的增产潜力。玉米籽粒硬度是实际应用中的一项重要指标。在干法和湿法研磨中，硬度是影响能量投入、效率和物料损失的重要因素。干磨和湿磨的最佳性能分别需要硬玉米粒和软玉米粒(Lee等，2007;Blandino et al.， 2010)。机械采收已成为一个至关重要的趋势，但高破损率是制约其发展的瓶颈。因此，在采收过程中降低破损率至关重要。果仁的硬度是影响破损率的直接因素。可以根据胚乳的硬度来确定适合机械采收的品种和合适的采收时间(Waller,Paulsen & Steinberg, 1990;郭等人，2020)。在干燥、运输和储存过程中，粮食因外力作用而发生开裂或永久变形。谷物因微生物入侵而发生霉
变，因为这些损害，不仅影响玉米籽粒的品质，还会降低玉米籽粒在栽培过程中的发芽率和有效性(Pitt et al.， 2013)。因此，谷物的硬度可以指导在干燥、运输和储存过程中减少开裂。

玉米仁的硬度没有像小麦那样的标准测试方法，因此，提出一种有效的测试仁硬度的方法是至关重要的(Fox & Manley, 2009)。目前，玉米籽粒硬度测试采用的是直接测试方法。以JFS谷物破碎机为例，采用粒度指数(PSI)表征硬度。结果表明，颗粒越软，越容易粉碎成粉，PSI越高。不同玉米品种的硬度按粉碎时间和能量进行分级(Pomeranz et al.， 1984;郭和赵，2002);使用通用试验机(UTM)，通过剪切、压缩和插拔法测量玉米籽粒的硬度(Dong et al.， 2018;Su et al.， 2019)。虽然这些直接测试方法在测试晶粒硬度方面是有效的，但它们是破坏性的测试。因此，间接检测成为一种趋势。以往的研究表明，玉米籽粒的内部结构和含量都会影响其硬度(Singh et al.， 1991;Seifi & Alimardani, 2010;Wang & Wang, 2019)。通过显微镜观察，硬玉米籽粒主要由玻璃状胚乳组成，而软玉米籽粒则由高比例的球形粉状胚乳组成(Delcour & Hoseney, 2010;Lee等人，2006)。不同组织的硬度与玉米籽粒含水量之间存在显著的负相关关系。其中，籽粒含水量与籽粒硬度之间的关系最为显著。硬度值可间接由籽粒含水率获得，操作简便，可减少籽粒的损伤，但干燥法测试含水率耗时较长。因此，为了克服检测时间长的缺点，在硬度检测中应用了光谱检测技术。

许多学者利用近红外光谱(NIRS)对果仁硬度进行了研究。Pomeranz et al.(1984)使用1680 nm处的反射率测量值作为硬度的估计。Siska和Hurburgh(1995)使用近红外透射光谱来预测玉米的密度。R2为0.76，预测的标准误差为0.0164 g/cm3。然后利用密度来表征硬度。NIRS法已广泛应用于玉米籽粒硬度测量，但由于NIRS法采集的是单点的光谱信息，无法得到籽粒的全部信息，相关系数可能较低。因此，高光谱成像技术得到了发展并应用于农业。例如，Khamsopha,Woranitta和Teer - achaichayut(2021)利用近红外高光谱成像定量预测木薯淀粉中的掺假，该模型给出了极好的结果。有学者利用高光谱将玉米籽粒分为硬、中硬和软，R值达到0.9 (Williams, Geladi, Fox & 曼利,
2009;麦戈文和曼利，2012;Williams & Kucheryavskiy, 2016)。利用高光谱技术对玉米籽粒硬度进行定性分析，解决了玉米生产加工中存在的问题，与NIRS相比，提高了籽粒硬度预测模型的精度。这是因为玉米和高光谱不同组织中化学成分的差异可以根据需求提取感兴趣区域(ROI)的光谱信息(Ma, Xia, Inagaki & Tsuchikawa, 2021)，因此高光谱成像技术可以提高精度。对玉米籽粒硬度的定量检测研究尚缺乏，但利用高光谱技术检测玉米籽粒含水量的研究较多，预测性能令人满意(Li,Su & Rao, 2010;Wang等人，2016;Tian et al.， 2016)。因此，这些都可以为基于高光谱成像的硬度定量检测提供依据。

因此，本研究旨在利用高光谱技术实现玉米籽粒硬度的快速、无损定量检测。研究内容包括三个方面:
(1)研究玉米籽粒硬度与水分含量的关系;
(2)通过不同的光谱预处理方法和特征波长的选择，建立玉米籽粒含水量的定量预测模型;
(3)建立并验证了基于高光谱的硬度预测模型。

2. 材料与方法

2.1. 玉米

从不同的生产者那里收集了11个玉米品种。地点为河北省沧州市吴桥县(116◦62′E，37◦69′N)。选育品种为郑单958、中农大678、鲜鱼335、花湾261、京农科728、雨河357、雨河988、东单1331、登海605、西图999和京单58。从9月16日至10月4日，每三天采摘一次穗。每个收获日期的每个品种，都要人工采摘10个穗。为了减少边界效应的影响，穗从田的中间两行采摘。然后，人工去穗中间的谷粒脱粒。对于每个收获日期的每个品种，分别从脱粒后的果仁中随机挑选两组(G1和G2)。每组谷粒重约500克。由此，分别得到77组G1和G2。G1用于硬度测试，G2用于基于高光谱图像的水分含量预测。为了减少温度对籽粒质量的影响(Cruz-Tirado et al.， 2021)，所有组的籽粒都被储存起来在测试前存放在4◦C的塑料袋中。储存时间为3天。

2.2. 参考值测量

硬度试验和光谱试验中玉米籽粒的水分含量采用干燥法测定，按照中国国家标准GB / T 10362-2008(130◦C，38 h)，试验时使用干燥箱(型号DHG-9123A，上海)和电子尺(0.001 g)。玉米粒的含水率按公式1计算。

硬度采用UTM (E43型，深圳MTS系统有限公司有限公司)进行插拔试验。从每个G1中随机抽取5颗正常和未受损的玉米粒进行硬度测试。均匀选取胚乳3个点进行硬度试验。每粒玉米粒的硬度为3点硬度的平均值，每组的硬度为5粒玉米粒的平均值。插拔试验采用直径2mm，锥角35◦was的钢针。试验步骤为:将一个核放在UTM加载平台上，将钢针指向胚乳部分(黄色部分)，然后将钢针缓慢移向待测部分。然后将钢针插入各点，插入深度和速度分别为0.25 mm和1 mm/min (Zhang et al.， 2010)。当进针深度达到0.25 mm时，钢针以同样的速度缩回原来的点。最后，可以得到插拔试验的力-位移曲线。由曲线可得到硬度指标。硬度根据公式(2)计算，可以显示籽粒不同组织抵抗针压入其表面的能力(Oliver & Pharr, 1992;Xia等人，2020)。

2.3. 高光谱图像采集与校正

本次试验的高光谱图像检测系统由一个暗箱、一个升降平台、两台75w卤钨灯、两台风扇、一台高光谱成像仪(北京北京AZUP科技有限公司有限公司SOC710vp)和一台计算机组成，如图1A所示。该高光谱相机可检测374.98 nm ~ 1038.79 nm范围内的128个波长，分辨率为4.68nm。高光谱图像采集软件为Hyper Scanner_2.0.127，由公司(北京AZUP科技有限公司有限公司，北京)提供。镜头的孔径为f2.8，样品表面到高光谱镜头的距离为40 cm，积分时间为30 ms。这些参数是通过预测确定的。

图1.高光谱图像采集与提取。A.高光谱图像检测系统，B.光谱信息提取过程。

系统在图像采集前预热30分钟。在运行软件之前，用黑帽盖住镜头。从每组手动G2中，随机抽取3个样本进行图像采集。每个样本包含24个核，这些核形状规则，没有损坏。因此，总共可以获得231张高光谱图像。拍摄前，将黑布放在升降平台的顶部。然后将24粒(胚朝下)和标准板同时放在黑布上，如图1A所示。采集结束后，得到尺寸为696 * 520 * 128的3D图像，如图1B(a)所示。X和Y表示像素信息(696 * 520);λ表示波长信息(128波长)。

由于光谱响应和光栅散射、暗电流和光源强度的不均匀等引起的光谱和空间辐射差异，需要对图像进行校正。此外，由于结果是像素值，因此应将其标准化为反射率。这两个程序包含在公司提供的SRAnalysis和标准文件中(北京AZUP科技有限公司有限公司，北京，SOC710vp)。

2.4. 光谱数据提取及预处理

选择24个核的整个区域作为感兴趣区域(ROI)，以减少成分分布不均匀的影响。如图1B所示，提取ROI的步骤如下:

(a)获取高光谱图像。
(b)选择相应波长(700.47 nm)的图像，样品和背景有明显区别。
©阈值分割输出图像。
(d)根据形态学原理，通过闭合、打开、闭合、打开等算法对ROI的轮廓进行修改。
(e)其他图像被修改后的图像遮挡。
(f)提取128个波长的光谱信息，取平均反射率作为样品的原始光谱，得到波长-反射率曲线。
(g)提取了231张高光谱图像曲线。

这些都是通过MATLAB 2016a (Mathworks, Natick, MA, USA)完成的，并通过该软件进行以下处理。除了样品的化学信息外，光谱数据还包含其他不相关的信息和噪声，如电噪声、背景噪声、基线漂移和无线电散射。因此，为了降低这些信息因素对建模的影响，提高模型的精度，在建模前对光谱数据进行Savitzky-Golay平滑(S-G平滑)、一阶导数和乘散校正(MSC)预处理。S-G平滑可以通过平均几个点来消除高频噪声(Dong et al.， 2019)。一阶导数可以实现基线校准，提高光谱信息的光谱分辨率率(Wan et al.， 2020)。MSC可以减少核表面散射对光谱收集的影响(Caram´es, Alamar & Pallone,2019)。

2.5. 特征波长

样品中X-H基团(C-H、O-H和N-H)的结构和含量信息通过近红外光谱(NIRS)反映(Badaro´et al.， 2019)。然而，光谱数据之间存在多重共线性。因此，使用全波长构建模型包含大量冗余信息，可能导致计算量大，计算速度慢。因此，为了简化和提高模型的计算速度，采用逐次投影算法(SPA)选择与水分含量相关的特征波长。SPA是一种正向周期选择方法，该算法的原理是:从一个波长开始;然后计算其在每个周期未选择波长上的投影，将投影向量最大的波长引入到波长组合中。每一个新选择的波长与前一个波长的线性关系最弱(Chu, 2011)。

2.6. 预测模型

在收集硬度、含水率和高光谱图像后，可以基于这些数据构建预测模型。具体而言，预测模型包括基于水分的硬度预测模型、基于高光谱图像的水分含量预测模型和基于高光谱图像的硬度预测模型。

通过回归分析，建立了基于含水率的硬度预测模型。具体而言，整体回归模型表明了各品种硬度与含水率之间的关系。单一回归模型表示各单一品种的硬度与含水率之间的关系。为了比较整体回归模型和单一回归模型的性能，我们使用R2和RMSE。由此
得到最优回归模型，并将其作为基于mois - ture含量的硬度预测模型。

采用偏最小二乘法PLSR建立了基于高光谱影像的水分预测模型。由于玉米籽粒含水量不同，光谱曲线的吸收峰也不同。根据兰伯特-比尔定律，吸收峰的振幅与样品的含水率呈线性关系。偏最小二乘回归(PLSR)可以用于具有多重共线性的变量。在PLSR建模过程中，光谱矩阵和目标矩阵同时被分割。并且考虑了它们之间的相关性，提高了建模性能。因此，PLSR适合建立基于光谱数据的水分含量定量预测模型(Chu,2011)。为了对模型进行综合评价和验证，采用相关系数®、均方根误差(RMSE)、性能偏差比(RPD)和误差范围比(RER)。一般来说，R越大，RMSE越小，模型越好。此外，校准集和预测集的R和RMSE应分别近似等于预测集的R和RMSE。具体来说，RPD (>3)和RER (>4)越大，模型越好(Barbin, Sobottka, Risso, Zucareli & Hirooka, 2015)。

将基于含水率的硬度预测模型与基于高光谱图像的含水率预测模型相结合，建立了基于高光谱图像的硬度预测模型。具体而言，基于含水率的硬度预测模型中的自变量为含水率，可由基于高光谱图像的含水率预测模型中的因变量(含水率)代替。

3. 结果与讨论

3.1. 硬度回归模型

根据浓度梯度法，将样品按含水率3:1的比例进行划分。在77个样品中，选择58个样品进行回归分析，其余19个样品用于验证基于高光谱图像的硬度预测模型。整体回归模型为:

如图2所示，采用回归模型描述水分含量与胚乳硬度的关系。R2为0.9336,RMSE为19.25 MPa。含水率在11% ~ 49%范围内，硬度呈指数变化趋势。具体来说，当含水率在11% ~ 49%之间时，随着含水率的增加，籽粒硬度急剧下降。当含水率在20% ~ 40%之间时，籽粒硬度随含水率的增加而降低。当含水率在40% ~ 49%之间时，随着含水率的增加，籽粒硬度下降缓慢。这可能是因为水分会影响玉米籽粒的内部结构。当水分高时，淀粉颗粒吸收床上的水分，导致体积增加 (Singh et al.， 1991;Narvaez-Gonzalez,Cardenas, Taba & Martinez-Peniche, 2007)。大颗粒之间存在较大空隙，造成结构松散，导致硬度值较低。相反，当水分较低时，淀粉颗粒较小，结构致密，导致硬度值较高(Narva´ez-Gonz´alez etal.， 2006)。当水分含量在40% ~ 49%之间时，淀粉颗粒可能达到吸水极限，因此硬度的下降是有限的。而当水分较低(11-40%)，特别是水分在11-20%之间时，硬度随水分的减少而迅速增加，可能是由于小淀粉粒排列紧密所致。

图2.硬度与含水率整体回归模型。

Guo et al.(2020)研究发现，玉米籽粒不同部位的硬度与水分含量呈线性关系。而且，硬度值随着含水率的增加而降低，这与本研究的结果一致，只是回归模型不同。这种现象可能是由于含水率的取值范围和不同品种不一致造成的。但是，线性拟合并不适
合分析这个问题，因为当水分含量很高时，硬度值会为负值。这种现象是不合理的。因此，指数拟合的性能优于线性拟合。

对11个玉米品种的硬度和水分含量分别进行了回归。从表1中可以看出，不同品种的硬度和含水率均采用指数函数拟合，在每个单独的含水率范围内，所有趋势都是一致的。然而，不同品种的硬度响应是不同的，这可能是由于不同玉米品种的化学成分和结构不同(Watson & Ramstad, 1987)。各回归模型的R2均在0.84以上。与各平均硬度相比，相应的RMSE较小。因此，回归性能良好。其中，玉和988的硬度与含水率的相关性最弱，而登海605、京农科728和鲜鱼335的硬度与含水率的相关性较高。其中，京农科728的R2最高，RMSE最低，说明回归模型是满意的。这一结果与Guo et al .(2020)的发现一致。这些单一回归模型可以为迷糊的加工过程提供参考。

从表1可以看出，整体回归模型与单项回归模型的拟合方程均为指数方程，且趋势一致。整体回归模型的R2与单回归模型的R2基本一致。将11个单回归模型与整体回归模型进行比较，可以验证整体预测模型是可靠的。因此，将整体回归模型作为基于含水率的硬度预测模型，性能可以接受。

3.2. 光谱数据分析及样本划分

由于起始和结束波长存在噪声，我们选择了399.75-1005.80nm的117个波长进行进一步的分析和处理。图1B(g)为231张高光谱图像获得的231张原始光谱曲线。所有的光谱曲线呈现出相同的趋势，说明没有异常样本。在494、590、653、705、742、790、843、962 nm处有明显的吸收峰。这些吸收峰振幅的不同反映了物质内部结构和含量的不同。其中962 nm为O-H拉伸振动的二阶倍频吸收峰。它与果仁的含水率密切相关(Chu,2011)。

在水分浓度梯度的基础上，将231个样品按3:1的比例分为校准集和预测集。根据统计结果，校准集和预测集分别包含173个和58个样品。校准集的含水率、平均值和标准差范围分别为13.76 ~ 50.89%、34.07%和7.44%，预测集的含水率、平均值和标准差范围分别为14.34 ~ 48.10%、34.06%和7.53%。两组的均值和标准差非常接近，说明其对应的水分含量范围的分散程度相同。此外，校正集的水分含量范围被纳入预测集，说明它们满足基本的建模要求。

3.3. 基于全光谱波长的水分含量建模

231条光谱曲线的反射率作为输入矩阵X，对应的含水率作为输出矩阵y。利用PLSR建立X和y的定量预测模型。在PLSR模型中，主成分的选择影响最终结果。当主成分过多时，会造成过拟合。反之，如果主成分的数量太少，则会丢失一些有用的信息，降低模型的准确性。因此，使用交叉验证来计算最小预测残差平方和，以确定最优主成分数(Lu et al.， 2020)。采用S-G(5个平滑点)、1阶和MSC 3种预处理方法，确定了最优预处理方法。结果如表2所示。由表2可以看出，四种方法建立的模型的RC和Rp、RMSEC和RMSEP比较一致，RPD均大于4,RER均大于20，说明预测模型的性能优良(Barbin et al.， 2015)。除MSC外，其他两种预处理方法也提高了模型的精度。利用S-G平滑的PLSR可以建立基于全光谱波长的籽粒含水率最优模型，这与Wang等(2016)的研究结果一致。散点图可以更好地显示模型的优势。如图3所示，这两张图分别是校准集的散点图和最优模型的预测集。x轴和y轴分别表示水分含量的参考测量值和预测值。可以看出，它们之间有很好的线性关系。校准集和预测集的R分别为0.990和0.989;校正集和预测集的RMSE分别为1.06%和1.17%。RPD为6.44,RER为29.1。结果表明，该模型的预测性能优异。

图3.PLSR在校准集中(a)和预测集中(b)测量和预测的水分含量的散点图。

3.4. 基于特征变量的SPA含水率模型

为了简化模型，保证建模的准确性，提高模型的计算速度，利用SPA从原始和预处理的光谱数据中提取特征波长对应的反射率光谱数据。然后，利用特征波长光谱数据建立PLSR模型。为了给在线监测提供理论依据，SPA中特征变量的最小个数设为1，最大个数设为100。根据最小预测RMSE选择线性相关性最小的谱变量组合。结果如表2所示。

如表2所示，MSC预处理方法与SPA筛选特征变量建立的模型的R小于0.9，其他三种方法的R均大于0.9。这表明，SPA不仅大大减少了冗余变量，而且保证了预测模型的准确性。但与全波长建立的PLSR模型相比，筛选特征波长后的预测精度仍然较高。虽然在获取特征变量的过程中丢失了一些有用的信息，但结果是可以接受的。根据对比结果表明，S-G平滑和原始光谱的性能较好，且两种结果的特征波长相似。在预处理方法中，基于S-G平滑光谱数据的PLSR模型效果最好，特征波长从117个减少到6个。如图4(a)所示，特征波长分别为434.61、530.35、571.14、643.22、962.07和1005.80 nm。其中，962.07 nm与籽粒含水量有关(Chu, 2011)。基于这6个特征光谱变量的最优水分含量预测模型如式4所示。校准集和预测集的R分别为0.975和0.977;校正集和预测集的RMSE分别为1.66%和1.68%。RPD 4.48, RER 20.2。结果表明，该模型的预测性能良好。

3.5. 基于高光谱的硬度预测模型验证与评价

图4.基于高光谱的硬度预测模型的性能(a)基于SPA S-G平滑的特征变量，(b)硬度测量与预测的散点图。

整体硬度回归模型可以通过含水率预测硬度。含水率预测模型可通过谱法获得含水率。因此，通过代入含水率，可以基于谱预测硬度。结合公式3和公式4，可以得到基于这6个光谱变量的硬度预测模型(如图4(a)所示)，如公式5所示。为了验证硬度预测模型，我们使用了19个样品进行验证。结果，硬度的实际测量值与预测值的散点图如图4(b)所示。R2、RMSE、RPD和RER分别为0.912、17.76 MPa、3.41和14，具有较好的预测效果。此外，与其他硬度光谱研究相比(Siska & Hurburgh, 1995;Williams, Geladi, Fox & Manley, 2009;麦戈文和曼利，2012;Williams & Kucher - yavskiy,2016)，本研究中的硬度预测模型具有更好的性能。因此，研究结果表明，基于高光谱图像的硬度预测模型可以实现玉米籽粒快速、无损的硬度检测。

4. 结论

建立了基于高光谱成像技术的玉米籽粒硬度定量检测方法。首先，建立了基于含水率的硬度回归模型;将11个单一回归模型与整体回归模型进行对比，可以验证整体预测模型的可靠性，可以作为基于含水率的硬度预测模型。然后，通过不同的光谱预处理方法和特征波长的选择，建立了水分含量的定量预测模型。通过比较，S-G平滑是光谱数据的最佳预处理方法。SPA有效地将117个光谱变量缩减为6个，分别为434.61、530.35、571.14、643.22、962.07和1005.80 nm。基于这些特征波长的PLSR建立的水分含量预测模型效果最好。校正集和预测集的R分别为0.975和0.977;校正集和预测集的RMSE分别为1.66%和1.68%。RPD 4.48, RER 20.2。最后，建立了基于高光谱图像的硬度预测模型并进行了验证。预测的R2、RMSE、RPD和RER分别为0.912、17.76 MPa、3.41和14。结果表明，高光谱成像技术可实现玉米籽粒硬度的定量、无损、快速检测。