基于排序差异和算法对光谱变量选择与定性分析的研究

发布时间：2020-03-29 20:22

【摘要】：对所测样本的光谱信息建立化学计量学模型是光谱分析方法中重要的一步,模型的好坏直接决定了预测结果的准确度。本文主要研究的是化学计量学模型中的变量选择模型以及定性分析模型。在光谱分析方法中采用的变量选择模型大都基于偏最小二乘(partial least squares,PLS)模型,如基于PLS模型回归系数的变量选择算法(PLS with regression coefficient,PLS-BETA)、无信息变量消除算法(PLS with uninformative variable elimination,PLS-UVE)、变量重要性投影算法(PLS with variable importance in projection,PLS-VIP)。这些变量选择算法都需要优化模型的潜在变量(latent variables,LV)以及变量重要性指标的阈值。学者们通常根据模型的偏差指标来确定LV的取值,阈值的取值则是根据自身经验主观选取的,该方法增大了校正模型过拟合的风险且并不客观。本文提出利用排序差异和算法(sum of ranking differences,SRD)结合表征模型偏差或模型方差的多个模型评价指标来自动且客观的确定LV及阈值的取值,并以VIP及UVE算法为变量选择算法的代表,以公共的玉米近红外(near infrared reflectance,NIR)光谱数据为实验数据做了相关研究。研究结果表明该方法所选变量较传统VIP(UVE)所选变量的可解释性及所选变量对应的预测精度均有了提升。并进一步研究了SRD输入矩阵中的部分劣质模型是否会对SRD算法最终所选的变量选择算法模型造成影响。同时本文提出利用SRD算法结合分类模型对光谱数据进行定性分析,相较于单一的分类模型,该方法不需要选取分类模型的参数取值。并以偏最小二乘判别分析算法(partial least squares-discriminant analysis,PLS-DA)为分类模型的代表,以泥蚶的激光诱导击穿光谱(Laser-induced breakdown spectroscopy,LIBS)数据为实验数据做了相关研究,研究结果表明该方法的分类效果优于单独使用PLS-DA模型的分类效果。主要内容如下:1.介绍了光谱分析方法的应用、光谱分析方法中化学计量学模型的一些调参方法,以及近红外光谱及激光诱导击穿光谱的作用机理。同时介绍了线性模型、变量选择方法,并重点介绍了本研究中用到的排序差异和算法(sum of ranking differences,SRD)以及表征模型偏差方向或模型方差方向的一些模型评价指标。2.提出利用SRD算法来选取变量选择算法的参数取值,并以VIP(UVE)算法作为变量选择算法的代表做了相关研究。以公共的玉米近红外光谱数据为实验数据,利用表征模型不同方向的多个模型评价指标结合SRD算法从VIP(UVE)算法所有参数取值对应的模型中自动且客观的选取出一个最佳的模型,该模型对应的参数取值即为VIP(UVE)模型参数的最终取值,并将该方法命名为:PLS-VIP-SRD(PLS-UVE-SRD)。同时按传统的方法确立了VIP(UVE)模型的参数取值,其取值对应的模型即为传统的PLS-VIP(PLS-UVE)算法确立的模型。比较了PLS-VIP-SRD(PLS-UVE-SRD)与PLS-VIP(PLS-UVE)各自所选变量的可解释性以及所选变量的预测精度。3.基于内容2研究了SRD输入矩阵中的部分劣质模型是否会对SRD算法选取VIP(UVE)的参数取值造成影响。先根据一些指标从VIP(UVE)算法所有参数取值对应的模型中初筛掉部分劣质模型,再利用表征模型不同方向的多个模型评价指标结合SRD算法从VIP(UVE)算法对应的剩余模型中自动且客观地选取出一个最佳的模型。该模型对应的参数取值即为SRD输入矩阵中不含部分劣质模型的PLS-VIP-SRD(PLS-UVE-SRD)模型参数的最终取值。4.提出利用SRD算法结合分类模型来对光谱数据做定性分析。该方法将分类模型所有可能参数取值对应的模型作为SRD输入矩阵的行,样本的不同类别作为SRD输入矩阵的列,从而避免了单独使用分类模型所需的调参过程。并以偏最小二乘判别分析(PLS-DA)做为分类模型的代表,以泥蚶的LIBS数据做为实验数据做了相关研究,并将该方法所实现的分类效果与单独使用PLS-DA所实现的分类效果做了对比分析。
【图文】：

模型偏差,方差,模型,偏差

温州大学硕士学位论文偏差中的最小值，minFR是 SRD 输入矩阵中各个模型分别对应的排序序号的中的最小值。RRM值综合考虑了交叉验证得到的各模型对应的排序序号的及排序序号的稳定性，RRM值越小，模型越好。.3 模型的评价指标在评价一个模型的时候，不仅要考率到模型的偏差指标还要考虑到模型的（或模型复杂度）指标[9-13]。模型的偏差（bias）指模型对校正集的预测准确性型的方差（variance）指模型的精确性（不确定性）。正如图 1-1 所示：对于模型来说，其偏差过小，方差必然过大，模型也会过拟合；方差过小，偏差过大，模型也会欠拟合[11]。

输入矩阵,模型,序号,横坐标

图 2-2 PLS-VIP-SRD 的 SRD 输入矩阵中各个模型对应的 10 个 RRM 值e 2-2 10 RRM values corresponding to each model in the SRD input matrix of PLS-VIP-SRD 中，横坐标表示各个模型的序号（第 1-第 13600 个模型），纵坐标表示序号（第 1-第 10 次实验）。可以从图 2-2 中看见，在横坐标相同的情标的颜色几乎没有变化，即各个模型的RRM值在各次实验中几乎个输入模型得到的 10 个RRM值的均值如图 2-3 所示：SRD input model2000 4000 6000 8000 10000 1200001.5luearea 1 area 2 area 3
【学位授予单位】：温州大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：O657.3;TS207.3

【参考文献】