光谱预处理方法及其集成研究

发布时间：2020-10-21 16:43

　　 复杂样品光谱信号因受到杂散光、噪声、基线漂移和其他因素的干扰,会对最终的定性和定量分析结果产生不可忽视的影响。因此,在建模之前,消除这些干扰因素对光谱信号的影响变得极为关键。目前,主要存在两种光谱预处理选择方法,一种是根据光谱信号特点直接选择,另一种是根据建模效果选择预处理方法。在科学性和合理性方面,哪种选择方法更为适用尚没有定论。此外,对于不同的光谱数据,最佳预处理方法往往存在较大不同;对于复杂样品,单一的预处理方法只能消除一种因素对原始光谱的影响,为了避免方法选择的问题,引入集成的概念。因此,本论文通过大量数据系统考察了不同的预处理方法,并在此基础上提出了一种选择性集成预处理方法,具体研究内容如下:1、探讨了光谱预处理的必要性及科学的预处理选择方法。对10种常用的预处理方法按照基线校正、散射校正、平滑和缩放的顺序进行排列组合得到120种预处理方法。然后,对不同数据及相同数据的不同组分分别进行120种预处理。结果表明,预处理方法的选择除了与光谱有关,还与预测组分有关。因此,得到普适性的预处理方法往往比较困难,最佳预处理方法的选择需要根据光谱与预测组分的建模效果来判断。2、将集成技术与预处理方法相结合提出一种选择性集成预处理方法。集成概念的引入可以很好地避免方法选择的问题,获得比单一模型更为准确稳健的结果。首先,把10种预处理方法按照上述的既定顺序全排列组合得到120种预处理及其组合方法,然后分别对每种预处理方法建立PLS模型。选择优于传统PLS的预测的模型,将它们的预测值简单平均得到最终预测结果。用玉米,血液和食用调和油样品的近红外光谱来评估该方法的性能。结果表明,选择性集成预处理能获得与最佳预处理方法相当或更好的预测效果,同时,它更简单、有效,还避免了最优预处理方法的选择问题。
【学位单位】：天津工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：O433.4
【部分图文】：

采集到的原始光谱数据中除了有需要的化学信息外，还可能存在基线漂移、??噪声或者其它无关干扰信息。这些干扰信息对于正确进行数据分析的影响特别??大［５］。数据预处理的目的就是在建模分析之前从数据中去除或减少不需要的信??号，尽可能地去除无关变量。选择合适的预处理会提高模型的准确度和稳定性，??选择不当的数据预处理方法可能会对模型的准确性和可解释性产生负面影响。??因此，选择一个合适的预处理方法对于建立预测效果好、稳定的模型是至关重??要的。??当前存在两种选择光谱预处理方法的途径，一种途径是直接观察光谱信号??特点选择预处理方法［６＿８］，另一种途径是根据建模性能的优劣反过来选择预处理??方法？１］。前者无需建模，更具有解释性，但是有时会由于选择者主观的因素??导致错误的结果；后者无需观察光谱特点，但需要考察大量的预处理方法，对??大数据集比较费时。因此需要探讨哪种选择方式更科学与合理。一般来说，单??一的预处理方法只能消除一种干扰因素对光谱的影响。但是对于复杂样品来说，??光谱数据可能同时存在两种或两种以上的干扰信号，单独的预处理方法已经不??

然后采用建模方法，对训练子集分别建立模型，最后通过集成方式将预测结果??集成最终预测结果。训练集用来生成模型，预测集用来进行参数优化。集成建??模方法的流程图如图１－３所示。??９??

２．４结果与讨论??２．４．１数据集的光谱特征??９个数据集的光谱图如图２－１所示。从图中可以看出，对于血液数据，光谱??信号有明显的漂移而且散射较大，需要基线校正和散射校正的预处理方法。对??于橙汁数据，光谱信号存在漂移，散射较大且在２２５０－２３５０ｎｍ有明显的噪声，??所以需要基线校正、散射校正和平滑处理的预处理方法。对于四元调和油数据??和燃油数据，光谱不存在信号的漂移和噪声同时重合度很高，因此不需要进行??预处理。对于汽油数据，光谱存在较大的散射，因此需要散射校正的预处理方??法。对于小麦数据和玉米数据，光谱信号有明显的漂移而且散射较大，因此需??要基线校正和散射校正的预处理方法。对于烟草数据，光谱信号存在漂移，散??射较大且在２３５０－２４５０ｎｍ有明显的噪声，所以需要基线校正、散射校正和平滑??处理的预处理方法。对于三元混合物数据
【相似文献】

相关期刊论文 前10条

1 孙晓荣;;基于光谱预处理结合遗传算法优化波长的面粉水分快速检测[J];现代面粉工业;2017年05期

2 张津源;朱海涛;;光谱预处理方法综述[J];西部皮革;2017年16期

3 王欣;;近红外分析中光谱预处理方法的研究与应用进展[J];科技资讯;2013年15期

4 刘志宏;邓波;周玉荣;庞小峰;张晓春;;红外光谱预处理中去噪的研究[J];光谱实验室;2006年04期

5 蔡剑华;王先春;;基于经验模态分解的近红外光谱预处理方法[J];光学学报;2010年01期

6 程长阔;杨鹏程;李燕;王宁;哈谦;杜军兰;;光谱预处理方法对硝酸盐测量模型影响实验研究及软件设计[J];海洋技术学报;2015年02期

7 马兰;夏俊芳;张战锋;王志山;;光谱预处理对近红外光谱无损检测番茄可溶性固形物含量的影响[J];华中农业大学学报;2008年05期

8 马艳;张若宇;;不同光谱预处理方法的鲜杏缺陷支持向量机识别[J];新疆农垦科技;2017年04期

9 李涛;屠人凤;朱江;梁冰;;基于UV-Vis-SWIR漫反射光谱的土壤多属性同时快速测定[J];化学研究与应用;2016年07期

10 尼珍;胡昌勤;冯芳;;近红外光谱分析中光谱预处理方法的作用及其发展[J];药物分析杂志;2008年05期

相关博士学位论文 前4条

1 赵羚志;短波近红外光谱技术结合人工神经网络用于药物无损定量分析的研究[D];吉林大学;2009年

2 王超;基于化学计量学方法的冬小麦长势光谱信息提取及监测研究[D];山西农业大学;2016年

3 王彬;近红外光谱结合化学计量学在药物无损定量分析中的应用研究[D];吉林大学;2010年

4 张娟娟;土壤养分信息的光谱估测研究[D];南京农业大学;2009年

相关硕士学位论文 前10条

1 第五鹏瑶;光谱预处理方法及其集成研究[D];天津工业大学;2019年

2 覃旭松;基于拉曼光谱的汽油辛烷值测定方法[D];浙江大学;2004年

3 曹海燕;基于近红外光谱技术的紫薯半干面成分快速检测及真伪鉴别[D];浙江工商大学;2015年

4 方彦;利用近红外光谱法测定玉米品质的研究[D];甘肃农业大学;2004年

5 叶元元;多金属矿区土壤重金属的高光谱定量估算研究[D];中国矿业大学;2014年

6 杨鹏程;紫外吸收光谱结合偏最小二乘法海水硝酸盐测量技术研究[D];国家海洋技术中心;2013年

7 张帅;拉曼光谱预处理及多组分分析方法研究[D];哈尔滨工程大学;2010年

8 韦玲冬;基于近红外光谱技术的红茶品质与等级评判方法的研究[D];安徽农业大学;2015年

9 孙锡龙;等离激元增强拉曼光谱预处理和识别算法的研究[D];厦门大学;2014年

10 孙栋;基于近红外光谱分析技术的几种固体粉末混合均匀度快速检测研究[D];山东大学;2012年

本文编号：2850363