基于MCCV结合T检验的奇异样本识别方法研究

发布时间：2020-10-26 03:50

　　 近红外光谱分析技术属于一种间接的分析技术,它的原理是利用近红外光谱与化学值之间的相关性建立预测模型,而奇异样本的存在会使近红外光谱图和化学值之间的相关性降低,使模型的预测性能受到严重干扰甚至是破坏。因此,对奇异样本进行判别和处理对于建立一个稳健的模型来说是尤为重要和基础的。造成奇异样本的原因很多,可能是由于总体条件的突然变化或者某个未知因素的出现;可能是由于数据本身存在的量测误差;也可能是由于性质截然不同于总体的样本存在。当建模样本中出现比较多的奇异样本时,正常样本、对模型有坏影响的奇异样本和对模型有强影响的好样本不能被很好地区分,经常出现将对模型有强影响的好样本误判成奇异样本的情况,所以至今奇异样本的识别与筛选仍是研究的热点问题之一。为了解决该问题,本文分析了常用的奇异样本识别方法的不足,改进了基于蒙特卡洛交叉验证(Monte Carlo Cross Validation,MCCV)识别奇异样本的方法,在MCCV方法的基础上增加了结合T检验的计算策略。首先,通过MCCV大量建模,根据样本在小预测残差平方和(PRESS)模型中的累计出现频率,对奇异样本进行初步地筛选。接下来,将剔除可疑奇异样本的模型预测均方根误差(RMSEP)值与随机剔除样本的模型RMSEP值做T检验,根据T检验结果和RMSEP值对可疑的奇异样本进行识别,区分出正常样本、强影响好样本和坏影响奇异样本,在一定程度上减少了剔除正常样本的可能性,对异常样本的剔除更为准确。通过理论分析和实验对比(与光谱残差比、马氏距离、MCCV均值方差等方法对比)的方法验证了改进后的算法的有效性,证明了基于MCCV结合T检验的奇异样本识别方法对奇异样本的识别效果更好,识别的准确率更高。本文分别从不同样本数量和不同光谱预处理两个方面,分析了 MCCV结合T检验的奇异样本识别方法的适用性,实验结果表明MCCV结合T检验的奇异样本识别方法不受样本数量和光谱预处理的影响,适用性较好。从MCCV中的校正集所占比例、T检验中随机剔除样本的模型RMSEP数量两个方面验证了稳健性。
【学位单位】：北方工业大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：O433.4
【部分图文】：

波长／ｎｍ??图３－２原始样本光谱图??接下来找到这些异常光谱数据的样本序号，如图３－３所示，这些样本为４９５、??５５９、８０６、１１６２、１２１２、１２８２、１４７８?号样本。??光谱数据图??１．４?Ｉ?Ｉ?！?＂！?＇?：?＇?：?Ｉ??１２?Ｔ?－??１Ｘ：?４９５??丨?Ｙ：?１．２４??１－??Ｉ??｜??０．８「??Ｉ?Ｘ：?５５９?Ｘ：?１２８２??Ｓ?〇６［?Ｙ?０５７６９?Ｘ：Ｈ６２?／：〇５８１，５?」??■?Ｙ．?０．４８３１?＂?■??￣?＿?Ｘ：?１４７８??０．４－?｜＿?Ｙ；?０?５６０４?－??——、■丨丨??＿Ｑ?２?Ｉ?ｉ?｜?１?｜?］?｜????＇０?２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００??样本序号??图３－３原始光谱样本数据图??除了光谱数据之外也对化学值数据进行了观察筛选，如图３－４所示，从图中??方框处可以看到有一些样本的化学值为０

９００?１０００?１１００?１２００?１３００?１４００?１５００?１６００?１７００??波长／ｎｍ??图３－２原始样本光谱图??接下来找到这些异常光谱数据的样本序号，如图３－３所示，这些样本为４９５、??５５９、８０６、１１６２、１２１２、１２８２、１４７８?号样本。??光谱数据图??１．４?Ｉ?Ｉ?！?＂！?＇?：?＇?：?Ｉ??１２?Ｔ?－??１Ｘ：?４９５??丨?Ｙ：?１．２４??１－??Ｉ??｜??０．８「??Ｉ?Ｘ：?５５９?Ｘ：?１２８２??Ｓ?〇６［?Ｙ?０５７６９?Ｘ：Ｈ６２?／：〇５８１，５?」??■?Ｙ．?０．４８３１?＂?■??￣?＿?Ｘ：?１４７８??０．４－?｜＿?Ｙ；?０?５６０４?－??——、■丨丨??＿Ｑ?２?Ｉ?ｉ?｜?１?｜?］?｜????＇０?２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００??样本序号??图３－３原始光谱样本数据图??除了光谱数据之外也对化学值数据进行了观察筛选，如图３－４所示，从图中??方框处可以看到有一些样本的化学值为０

图３＞４原始样本化学值数据图??接下来将光谱中的异常样本与化学值是〇的十六个很明显异常的个样本去??除掉，去掉之后的样本光谱图如图３－５所示。之后将剩下的１７４２个样本作为实??验分析研究的样本。??光谱数据图??〇．?３１?Ｉ?■?Ｉ?Ｉ?■?Ｉ?Ｉ??－０．１－??－０．１５－??〇?２?Ｉ?Ｉ?Ｉ?ｉ?Ｉ?ｉ?Ｉ???＂９００?１０００?１１００?１２００?１３００?１４００?１５００?１６００?１７００??波长／ｎｍ??图３－５实验样本光谱数据图??实验样本光谱的吸光度均值如图３－６所示。??２５??
【相似文献】

相关期刊论文 前10条

1 王蕾;王辉;黄品高;林闯;郑悦;魏月;郭欣;李光林;;下肢截肢者行走意图识别方法研究进展[J];自动化学报;年期

2 何湘东;朱亦宁;;网络谣言识别方法及展望[J];网络空间安全;2016年Z2期

3 肖清旺;王锦华;朱易翔;;物联网智能终端设备识别方法[J];电信科学;2017年02期

4 闵卫东;石杰;韩清;王玮;;一种分布式人脸识别方法及性能优化[J];光学精密工程;2017年03期

5 张海龙;任波;常占河;李环;;振动目标产生的瑞雷波的识别方法研究[J];沈阳理工大学学报;2017年02期

6 崔德旺;;松辽盆地二氧化碳气层录井识别方法[J];石化技术;2017年10期

7 翟冠;孟华东;孙秀志;王希勤;;用于机动目标跟踪的分段机动识别方法[J];电波科学学报;2015年01期

8 徐永军;;“特殊的平行四边形”易错点剖析[J];初中生世界;2017年15期

9 董泽万;;试分析基于区域生长的道路和桥梁识别方法的研究[J];科技创业家;2014年01期

10 高春庚;孙建国;;基于统计的人脸识别方法综述[J];安阳工学院学报;2012年04期

相关博士学位论文 前10条

1 赖韬;线弹性结构时域动态荷载识别方法研究[D];大连理工大学;2017年

2 邰颖;基于表示学习及回归模型的稳健人脸识别方法研究[D];南京理工大学;2017年

3 吕江靖;非限定环境下的人脸识别方法研究[D];中国科学院大学(中国科学院重庆绿色智能技术研究院);2017年

4 徐艺哲;超音速流场中多波系干扰结构识别方法与应用研究[D];清华大学;2016年

5 张莉莉;竞优特征的群识别方法及其应用[D];东北大学;2010年

6 陈绵书;计算机人脸识别方法研究[D];吉林大学;2004年

7 张永梅;基于融合的人脸识别方法研究[D];中北大学;2005年

8 陈浜;基于视觉计算的煤岩识别方法研究[D];中国矿业大学(北京);2018年

9 周昌军;基于图像重构和特征融合的人脸识别方法研究[D];大连理工大学;2008年

10 何光辉;四种人脸识别方法研究[D];重庆大学;2010年

相关硕士学位论文 前10条

1 李泽龙;信息物理融合环境下电网恶性数据链识别方法研究[D];东北电力大学;2018年

2 乔治;道路监控场景下行人再识别方法研究[D];北方工业大学;2018年

3 杨新雨;基于监控场景的行人重识别方法的研究与应用[D];电子科技大学;2018年

4 高源;模糊车牌的分割与识别方法研究[D];厦门大学;2017年

5 王震;基于深度学习的人脸识别方法的研究[D];兰州理工大学;2018年

6 付昊天;基于多特征深度学习的建筑物识别方法[D];北方工业大学;2018年

7 蔡子嫣;基于MCCV结合T检验的奇异样本识别方法研究[D];北方工业大学;2018年

8 郭玉龙;运用中级特征的人脸识别方法研究[D];湖南大学;2017年

9 卢薇冰;基于CNN的陆空通话语义识别方法[D];中国民航大学;2017年

10 黄琳;基于深层神经网络的交通标志识别方法研究[D];江苏科技大学;2015年

本文编号：2856445