深度自编码器的近红外光谱转移研究
发布时间：2021-10-16 03:44
近红外光谱分析中多变量校准模型的建立依赖于校准建模的光谱样本。然而,近红外光谱测量环境的变化会导致同一被测物的光谱样本的偏移。为了削减光谱偏移后重新建立校准模型的成本,提出一种基于深度自编码器（DAE）的非线性光谱转移方法,以端到端的形式实现不同测量环境之间的光谱转移,避免已有的线性光谱转移方法在非线性偏移光谱时效果不佳的情况。该方法在操作前不需要对光谱进行预处理和特征提取等操作,可以实现原始光谱之间的转移,是首个端到端的非线性光谱转移方法。为了实现光谱空间的有效转移,设计了一种基于条件概率和参数最大似然法的误差函数惩罚项,结合梯度反向传播算法优化深度自编码的网络参数。为了验证该方法的有效性,引入两个公共的近红外光谱数据集,分别是药片数据集和玉米数据集。利用本方法进行光谱转移的过程主要有:根据Kennard-Stone（KS）算法分别将两个数据集划分为校准集、验证集和测试集;用校准集中的光谱样本输入深度自编码器,根据设计的误差函数求出误差,并用反向传播法迭代训练网络参数,直至模型最优;将预测集样本输入训练好的DAE转移模型,可以发现转移后的光谱与相应的目标光谱谱线基本重合,这说明该设计...
【文章来源】：光谱学与光谱分析. 2020,40(07)北大核心EISCICSCD
【文章页数】：6 页
【部分图文】：
具有三层隐藏层的深度自编码器
针对药片数据集和玉米数据集, 我们分别设计了两个编码器层数为四层的深度自编码器网络, 结构分别的[597 400 200 100 200 400 597]和[700 350 175 80 175 350 700]。 因此, 输入的仪器一的药片光谱维度, 经过编码器从597逐步变为400, 200, 100, 再经过对称的解码器, 从维度100逐步变为200, 400, 597的输出光谱, 输出的维度为597的光谱即为我们所需的符合仪器二样本分布空间的光谱。 自编码器的损失函数和参数优化方式根据式(8)和式(9)获得。 进行药片数据集光谱转移的自编码器网络结构如图2所示。 玉米数据集的样本也同上进行光谱的转移。我们使用sigmoid激活函数来限制每层神经元的输出接近于0。 经过多次代码的运行, 确定将式(8)中的惩罚系数λ设置为0.01, 将式(9)中的学习率α设置为0.001, 迭代训练5 000个回合后, 模型收敛, 并达到最佳的转移光谱的效果。
进行光谱转移是为了将偏移的光谱进行转移后, 直接应用于已建立的多变量校准模型中, 来获得有效的定性定量分析结果。 因此, 为了进一步研究本方法的有效性, 将本方法与经典的线性转移方法PDS和SST算法中得到的转移光谱分别作为测试样本输入已建立的多变量校准模型, 通过比较多变量模型输出的均方根误差(RMSEP)来验证转移的效果。 多变量校准模型通过经典的偏最小二乘法(PLS)算法建立[18]。 通过7次交叉验证, 确定了PLS模型中潜在变量(nLV)的最优数量。 如表1和表2所示, 显然, 当用一台仪器的校准集光谱建立的模型直接预测另一台仪器的光谱, 效果很差。 但当三种方法得到的转移光谱被预测时, RMSEP显著降低。 通过对三种方法的比较, 本方法得到的转移光谱在原校准模型中的表现略优于常用的SST和PDS方法。 不管是哪两台光谱仪之间的相互转移, 均得到了类似的结果。表1 药片数据集进行光谱转移后, 转移光谱 在多变量校准模型中的RMSEPTable 1 RMSEP of transferred tablet spectrum in a multivariate calibration model 建模光谱 验证光谱 参数 RMSEP A1 A1 nLV=8 2.893 3 A2 nLV=8 8.875 A2 to A1(PDS) w=15, nLV=6 3.712 2 A2 to A1(SST) nPC=4 3.654 4 A2 to A1(DAE) λ=0.01, α=0.001 3.472 9 A2 A2 nLV=9 2.971 4 A1 nLV=9 6.068 7 A1 to A2(PDS) w=15, nLV=6 3.764 9 A1 to A2(SST) nPC=4 3.861 7 A1 to A2(DAE) λ=0.01, α=0.001 3.578 1 注: nLV: 偏最小二乘法(PLS)的潜变量个数; w: PDS中选用的窗口尺寸; nPC: SST算法中选取的主成分个数Note: nLV: Number of latent variables in PLS; w: Window size used in PDS; nPC: Number of principal components in SST
本文编号：3439080
【文章来源】：光谱学与光谱分析. 2020,40(07)北大核心EISCICSCD
【文章页数】：6 页
【部分图文】：
具有三层隐藏层的深度自编码器
针对药片数据集和玉米数据集, 我们分别设计了两个编码器层数为四层的深度自编码器网络, 结构分别的[597 400 200 100 200 400 597]和[700 350 175 80 175 350 700]。 因此, 输入的仪器一的药片光谱维度, 经过编码器从597逐步变为400, 200, 100, 再经过对称的解码器, 从维度100逐步变为200, 400, 597的输出光谱, 输出的维度为597的光谱即为我们所需的符合仪器二样本分布空间的光谱。 自编码器的损失函数和参数优化方式根据式(8)和式(9)获得。 进行药片数据集光谱转移的自编码器网络结构如图2所示。 玉米数据集的样本也同上进行光谱的转移。我们使用sigmoid激活函数来限制每层神经元的输出接近于0。 经过多次代码的运行, 确定将式(8)中的惩罚系数λ设置为0.01, 将式(9)中的学习率α设置为0.001, 迭代训练5 000个回合后, 模型收敛, 并达到最佳的转移光谱的效果。
进行光谱转移是为了将偏移的光谱进行转移后, 直接应用于已建立的多变量校准模型中, 来获得有效的定性定量分析结果。 因此, 为了进一步研究本方法的有效性, 将本方法与经典的线性转移方法PDS和SST算法中得到的转移光谱分别作为测试样本输入已建立的多变量校准模型, 通过比较多变量模型输出的均方根误差(RMSEP)来验证转移的效果。 多变量校准模型通过经典的偏最小二乘法(PLS)算法建立[18]。 通过7次交叉验证, 确定了PLS模型中潜在变量(nLV)的最优数量。 如表1和表2所示, 显然, 当用一台仪器的校准集光谱建立的模型直接预测另一台仪器的光谱, 效果很差。 但当三种方法得到的转移光谱被预测时, RMSEP显著降低。 通过对三种方法的比较, 本方法得到的转移光谱在原校准模型中的表现略优于常用的SST和PDS方法。 不管是哪两台光谱仪之间的相互转移, 均得到了类似的结果。表1 药片数据集进行光谱转移后, 转移光谱 在多变量校准模型中的RMSEPTable 1 RMSEP of transferred tablet spectrum in a multivariate calibration model 建模光谱 验证光谱 参数 RMSEP A1 A1 nLV=8 2.893 3 A2 nLV=8 8.875 A2 to A1(PDS) w=15, nLV=6 3.712 2 A2 to A1(SST) nPC=4 3.654 4 A2 to A1(DAE) λ=0.01, α=0.001 3.472 9 A2 A2 nLV=9 2.971 4 A1 nLV=9 6.068 7 A1 to A2(PDS) w=15, nLV=6 3.764 9 A1 to A2(SST) nPC=4 3.861 7 A1 to A2(DAE) λ=0.01, α=0.001 3.578 1 注: nLV: 偏最小二乘法(PLS)的潜变量个数; w: PDS中选用的窗口尺寸; nPC: SST算法中选取的主成分个数Note: nLV: Number of latent variables in PLS; w: Window size used in PDS; nPC: Number of principal components in SST
本文编号：3439080
本文链接：https://www.wllwen.com/kejilunwen/dianzigongchenglunwen/3439080.html
