化学计量学算法实现的软件开发基础研究

发布时间：2016-08-31 12:12

  本文关键词：化学计量学算法实现的软件开发基础研究，，由笔耕文化传播整理发布。

《中南大学》 2012年

化学计量学算法实现的软件开发基础研究

张志敏  

【摘要】：化学计量学经过几十年迅速发展,日趋成熟,已成为从复杂体系的仪器分析数据中提取有用信息最有效和最具系统性的方法之一,为复杂多组分体系的定性定量分析带来了大量新的研究思路和解析手段,它也能为仪器分析数据处理提供了指导性的理论框架。编写和实现出可靠易用的化学计量学软件产品能最大限度地发挥化学计量学的作用,但是从化学计量学方法到可靠易用的软件产品之间还有许多基础工作。不仅要系统研究化学计量学算法,在特定情况下要提出新算法,而且在研发过程中还要引入计算机领域中的新技术以保证软件产品的市场竞争力。本论文由此展开,主要涉及开发化学计量学软件所需基础算法研究、用C++编程语言开发化学计量学算法库和计算机新技术在化学计量学软件中的应用等方面,成功地解决了将化学计量学方法转化为可靠易用的软件产品过程中的几个基本问题,如实现化学计量学软件产品的先决条件-线性代数与统计学运算库构建、用多核计算加速建模过程和用化学计量学模型标识语言保存模型、提出了几种高效的预处理算法等。现对主要研究内容简述如下： 一、化学计量学算法通常由系列线性代数和统计学运算组成,开发化学计量学软件产品的先决条件为构建一个设计精良的高性能线性代数与统计学运算库。笔者从本科毕业设计开始,投入近六年时间,在BLAS、LAPACK、CSparse、Fortran. C和C++等源码和编译器基础之上,逐渐开发出一套有自主知识产权、设计良好、易用、准确、高性能的线性代数和统计学运算库；并在此代码库基础上用C++实现了常用化学计量学算法。此算法库封装和设计较好,利用该库和C++进行化学计量学软件开发能够以和MATLAB差不多代码量完成相同工作,大大降低了开发的难度。在算法库开发过程中严格遵循ISOC++标准,所以构建出的库可以跨平台和编译工具链,目前测试过的操作系统平台有Windows、Linux和Mac OS X;编译器包括GCC、 MSVC、LLVM-Clang和ICC。在性能和准确性上,通过与MATLAB2011B和R2.14比较矩阵乘法和奇异值分解的运算时间与结果,所构建的运算库能够达到MATLAB2011B的性能,比R2.14至少快4倍,计算结果与MATLAB2011B和R2.14相同,说明所构建库的准确性。 二、由于工艺和制造技术飞速进步,多核电脑迅速普及。在化学计量学软件中,如果能够用多核来加速计算过程,能成倍地缩短计算时间,大大增强软件产品的性能。我们首次将多核计算引入化学计量学软件中,并以用交互检验来确定确定主成分回归和偏最小二乘回归最优主成分个数为例,来展示多核计算的能力。随着参与运算的核心增多,交互检验时间直线下降。结果表明多核计算的确是一个用来解决化学计量学中计算密集和数据密集型问题有用的工具。 三、建好化学计量学模型之后必须将模型保存在硬盘里供预测之用,这就会涉及到模型存储和共享方面的问题。通过提出化学计量学模型标识语言,可以比较完美地解决此问题。化学计量学中要保存数据常为向量或者矩阵形式,利用base64编码算法将二进制数据转化为字符串,能很好地解决向量或者矩阵保存问题；base64算法还有—个优点为：它是易读取性和文件大小之间一个平衡点。目前化学计量学模型标识语言能够存储样本划分、变量选择、预处理、奇异样本剔除和建模等方面的信息。由于化学计量学模型标识语言基于XML语言,所以有非常良好的扩展性。XML语言在软件开发领域得到了广泛的应用,以化学计量学模型标识语言格式存储的模型文件能非常方便地在其他软件或编程语言里重用。一般来说只要所用开发语言有XML解析和XPath查询库就可以从模型文件有效地取出所需数据。 四、针对拉曼光谱的荧光背景和色谱中常见的基线漂移问题,本文中提出一种智能的拉曼光谱背景扣除算法。它利用墨西哥帽连续小波变换准确找出每个拉曼峰的位置,然后利用峰的位置信息去构造二进制权重向量和加权惩罚最小二乘方法进行背景拟合。为了将基线校正算法集成到软件产品中,笔者将上述方法简化,提出一个更通用的基线校正算法：白适应迭代重加权惩罚最小二乘基线校正算法airPLS,并用拉曼光谱、色谱和核磁数据验证了所提出方法的有效性和性能。通过采用稀疏矩阵技术,基线校正过程执行速度和内存使用都只与分析信号的长度成线性关系,性能和扩展性特别好,非常适用于大批量分析信号的基线校正。 五、当利用整条色谱进行指纹谱分析时,色谱保留时间的漂移会使定性定量分析结果变得不准确。在分析开始之前,必须将色谱保留时间漂移校准好,开始后续的分析工作。为了解决保留时间漂移问题,我们提出了基于连续小波变换和微分进化算法的色谱谱峰漂移校准算法。首先通过线性插值将待校和参考色谱等长；利用墨西哥帽连续小波变换准确找出待校色谱每一个峰的起始位置；以每个峰的位置为待优化的变量,以待校和参考色谱之间的相关系数为目标函数,利用微分进化去优化它们的位置,使待校和参考色谱相关系数最大化。利用该算法来校准红芍的高效液相色谱指纹图谱,结果表明,该校准算法使指纹图谱的相关系数得到了很大的改善,能够在不改变色谱峰的形状情况下将指纹图谱校准好。 六、色谱技术常用于高通量分析领域如代谢组学、中药质量控制等。但是在用统计学或化学计量学从大量分析数据获取有效信息前,要进行耗时的预处理,尤其是谱峰校准。于是我们提出了多尺度谱峰校准,它先利用连续小波变换准确找出待校色谱每一个峰的起始位置,然后将待校色谱中的谱峰按由大到小的顺序依次校准。在校准过程中,使用快速傅立叶变换计算交叉相关,所提出算法的时间复杂度仅为NlogN,能够在可接受的时间内完成高通量色谱谱峰校准。通过与最常用的两种校准方法进行比较,可得出该方法能在校准过程中保证峰形不变、速度常快且不易受背景或噪音的干扰。

【关键词】：
【学位授予单位】：中南大学
【学位级别】：博士
【学位授予年份】：2012
【分类号】：O6-04;O651
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前8条

1 胡永光;李萍萍;母建华;毛罕平;吴才聪;陈斌;;基于可见-近红外光谱技术预测茶鲜叶全氮含量[J];光谱学与光谱分析;2008年12期

2 宋国安;丛培盛;潘卫刚;朱仲良;;化学计量学建模软件的开发及应用[J];计算机与应用化学;2006年03期

3 杨辉华;李灵巧;覃炳达;梁琼麟;王义明;罗国安;;CloudChem—基于云计算的化学计量学软件服务[J];计算机与应用化学;2011年05期

4 孙建伟;孙昭晨;陈轩;耿红;;NetCDF格式数据的创建及应用[J];交通标准化;2010年15期

5 祝诗平,王一鸣,张小超;农产品近红外光谱品质检测软件系统的设计与实现[J];农业工程学报;2003年04期

6 张华秀;李晓宁;范伟;梁逸曾;唐玉莲;;近红外光谱结合CARS变量筛选方法用于液态奶中蛋白质与脂肪含量的测定[J];分析测试学报;2010年05期

7 李军会,赵龙莲,张录达,严衍禄;农业近红外分析技术软件及网络系统的研制[J];现代仪器;2000年06期

8 李军会;陈斌;马翔;赵龙莲;劳彩莲;张文娟;段佳;陶帅;张录达;严衍禄;;专用近红外光谱分析软件系统的研制[J];现代科学仪器;2008年04期

中国博士学位论文全文数据库 前1条

1 张学博;通用性近红外模型的验证和维护[D];中国协和医科大学;2009年

【共引文献】

中国期刊全文数据库 前10条

1 方国桢,方梅,汪敬;化学计量学在原子发射光谱分析元素形态中的应用[J];四川有色金属;1999年01期

2 许小健;张金轮;;微进化算法[J];安徽工程科技学院学报(自然科学版);2010年04期

3 梁高峰;贾宏汝;谷运红;秦广雍;王卫东;;近红外光谱分析技术及其在农业研究中的应用[J];安徽农业科学;2007年29期

4 陈斌;蔡斌;;多组分相关分析技术在近红外检测中的应用研究[J];安徽农业科学;2008年17期

5 张灵帅;邢军;谷运红;王卫东;焦浈;;烟草近红外光谱分析结果影响因素综述[J];安徽农业科学;2008年21期

6 周静;彭黔荣;张燕;赖东辉;蔡元青;;烟草中非挥发性有机酸分析研究进展[J];安徽农业科学;2009年26期

7 宗莉;薛娴;王涛;尤全刚;;近红外光谱分析技术在水果内部品质无损检测中的应用[J];安徽农业科学;2010年06期

8 邵丽娜;熊智新;胡慕伊;陈朝霞;;小波变换在提高油菜籽脂肪酸近红外分析精度中的应用[J];安徽农业科学;2010年12期

9 邓发达;朱立军;戴亚;王鹏;施丰成;尚军;;基于近红外光谱技术的卷烟类型识别方法研究[J];安徽农业科学;2011年12期

10 周玮婧;;近红外光谱在果蔬检测中的应用及研究进展[J];安徽农业科学;2011年16期

中国重要会议论文全文数据库 前10条

1 吴静珠;刘翠玲;孙晓容;;支持向量机在近红外光谱检测技术中的应用研究[A];第二十九届中国控制会议论文集[C];2010年

2 龚鹍;邓方;陈杰;;基于自适应差分进化算法和傅里叶神经网络的电子罗盘的标定[A];中国自动化学会控制理论专业委员会B卷[C];2011年

3 王亚楠;陈杰;甘明刚;;基于差分进化的改进粒子滤波目标跟踪算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年

4 ;A New Multiple Attribute Decision Making Method Based on Preference and Projection Pursuit Clustering Model[A];中国自动化学会控制理论专业委员会D卷[C];2011年

5 代芬;黄冠勇;洪添胜;;基于光谱技术的砂糖橘品质无损检测方法研究[A];中国农业工程学会2011年学术年会论文集[C];2011年

6 刘洁;李小昱;王为;李培武;肖武;张军;周竹;;基于近红外光谱的板栗蛋白质检测方法研究[A];中国农业工程学会2011年学术年会论文集[C];2011年

7 田潇瑜;彭彦昆;马世榜;徐杨;牛力钊;;利用VIS/NIR反射光谱预测并评价牛肉嫩度[A];中国农业工程学会2011年学术年会论文集[C];2011年

8 田海清;王春光;吴桂芳;李建康;陈浩;;马铃薯品质可见近红外漫反射光谱检测研究[A];中国农业工程学会2011年学术年会论文集[C];2011年

9 周兴藩;杨增玲;黄光群;刘贤;韩鲁佳;;遗传算法在DDGS蛋白含量预测中的应用[A];中国农业工程学会2011年学术年会论文集[C];2011年

10 王妍;王国复;何文春;高峰;朱江;冯明农;靳芳;;气象空间产品库数据分层存储技术探讨[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年

中国博士学位论文全文数据库 前10条

1 吴德烽;计算智能在三维表面扫描机器人系统中的应用研究[D];大连海事大学;2010年

2 陈祯;基于近红外光谱分析的土壤水分信息的提取与处理[D];华中科技大学;2010年

3 王正家;ACA互连的多因素作用分析与性能优化[D];华中科技大学;2010年

4 朱少敏;多媒体数字水印若干关键算法研究[D];中国电力科学研究院;2010年

5 颜辉;植物油的亚油酸、亚麻酸红外光谱融合和模型优化方法的研究[D];江苏大学;2010年

6 尹浩;地中海贫血筛查指标的FTIR/ATR光谱分析方法研究[D];暨南大学;2010年

7 黄富荣;人体血液胆固醇、甘油三酯近红外光谱无试剂分析方法研究[D];暨南大学;2010年

8 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年

9 包鑫;稳健回归技术及其在光谱分析中的应用[D];浙江大学;2010年

10 杨国鹏;基于机器学习方法的高光谱影像分类研究[D];解放军信息工程大学;2010年

中国硕士学位论文全文数据库 前10条

1 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年

2 胡红;矿区植物胁迫作用与遥感信息提取[D];山东科技大学;2010年

3 陶丘博;化学计量学在多组分分析同时测定中的应用[D];郑州大学;2010年

4 王晓东;基于红外吸收型CO_2浓度分析仪设计[D];郑州大学;2010年

5 王宁;PA66/RCT/rPET/滑石粉复合材料的研究[D];郑州大学;2010年

6 李响;油品调和优化问题的研究[D];大连理工大学;2010年

7 李辉;单胃动物仿生消化系统(SDS-Ⅰ)测定鸭饲料代谢能值的精度、变异因素及可加性研究[D];安徽农业大学;2010年

8 龚正;多目标进化算法改进策略的研究[D];湘潭大学;2010年

9 刘子文;改进的粒子群算法在停车场中的应用[D];湘潭大学;2010年

10 吕丹;利用近红外光谱进行羊绒与羊毛的鉴别技术研究[D];北京服装学院;2010年

【二级参考文献】

中国期刊全文数据库 前10条

1 褚小立,袁洪福,陆婉珍;普鲁克分析用于近红外光谱仪的分析模型传递[J];分析化学;2002年01期

2 田高友;褚小立;袁洪福;陆婉珍;;小波变换-分段直接校正法用于近红外光谱模型传递研究[J];分析化学;2006年07期

3 严衍禄,赵龙莲,李军会,张录达,闵顺耕;现代近红外光谱分析的信息处理技术[J];光谱学与光谱分析;2000年06期

4 褚小立,袁洪福,陆婉珍;光谱多元校正中的模型传递[J];光谱学与光谱分析;2001年06期

5 黄岚,丁海曙,王广志;用近红外漫反射光谱无损检测血糖的初步研究[J];光谱学与光谱分析;2002年03期

6 陈斌,赵龙莲,李军会,严衍禄;近红外光谱法快速分析葛根中的有效成分[J];光谱学与光谱分析;2002年06期

7 田高友,袁洪福,刘慧颖,陆婉珍;小波变换在近红外光谱分析中的应用进展[J];光谱学与光谱分析;2003年06期

8 褚小立,袁洪福,王艳斌,陆婉珍;近红外稳健分析校正模型的建立(Ⅰ)——样品温度的影响[J];光谱学与光谱分析;2004年06期

9 王艳斌,袁洪福,陆婉珍;一种基于目标因子分析的模型传递方法[J];光谱学与光谱分析;2005年03期

10 张军,陈华才,陈星旦;近红外光谱温度修正定量分析模型的研究[J];光谱学与光谱分析;2005年06期

【相似文献】

中国期刊全文数据库 前10条

1 吴泽朝;王树奇;杨国银;邹孝成;;测井曲线与岩性剖面智能数字化软件开发及应用[J];吐哈油气;2002年02期

2 张佰清;;食品机械设备多媒体课件的开发与思考[J];沈阳农业大学学报(社会科学版);2005年04期

3 唐正姣;孙炜;欧阳贻德;王华祥;;化工原理实验数据处理软件开发[J];化工高等教育;2006年03期

4 王乐;;流程模拟应用平台的开发[J];石油化工;2008年08期

5 裴显杨;;列车运行监控装置数据开发管理系统[J];中国铁路;2009年09期

6 沈鋆;;基于TEMA标准的双管板计算软件的设计与开发[J];化工机械;2010年03期

7 张娟;张青松;;计算机仿真技术在成品油管道中的应用及其发展趋势[J];天然气与石油;2010年03期

8 唐勇;张春雷;沈本贤;揭元萍;魏建华;;芳烃装置分离系统模拟分析软件设计与模型建立[J];现代化工;2010年S1期

9 蔡运胜;杨学明;;时间域瞬变电磁系统的应用软件开发与利用[J];物探与化探;2011年01期

10 赵世彧;张盛;王玉辉;白岩;;智能手机操作系统及其Google Android上的软件开发[J];煤炭技术;2011年04期

中国重要会议论文全文数据库 前10条

1 邵学广;蔡文生;陈达;李艳坤;刘智超;;复杂分析信号的解析与定量算法研究[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

2 周国勇;;采用自动化分析工具实现安全编码[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

3 李孔清;林建辉;;虚拟实验系统研究[A];自主创新 实现物流工程的持续与科学发展——第八届物流工程学术年会论文集[C];2008年

4 叶少波;龚曾冉;陈玉琴;刘建华;潘家普;;K5-R型下颌运动轨迹仪的联机和软件开发[A];中华口腔医学会第三次全国口腔修复学术会议论文集[C];1997年

5 周汉香;莫海鸿;黄亮华;;基坑支护结构优化设计与软件开发[A];交通土建及结构工程计算机应用学术研讨会论文集[C];2001年

6 胡海军;程光旭;段权;孙学峰;;压力容器火灾、爆炸后果分析方法及软件包开发[A];第六届全国压力容器学术会议压力容器先进技术精选集[C];2005年

7 梅宁光;李菁;;广西台风强降水短时预报系统的设计和实现[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 黄林清;;国土办文系统需求调研分析[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（上）[C];2003年

9 张成;丁绪星;秦巍;;基于TMS320C6000系列DSP的软件开发及优化[A];2007'中国仪器仪表与测控技术交流大会论文集（二）[C];2007年

10 方惠如;陈义群;杨亮;姜婷婷;鲍庆嘉;刘朝阳;;单元测试在核磁共振波谱仪软件开发中的应用[A];第十五届全国波谱学学术会议论文摘要集[C];2008年

中国重要报纸全文数据库 前10条

1 本报记者 于翔;[N];网络世界;2006年

2 于翔;[N];网络世界;2007年

3 文清;[N];中华读书报;2007年

4 侯振鹏;[N];中国计算机报;2007年

5 本报记者 向红;[N];中国城乡金融报;2008年

6 计育青;[N];中国电子报;2004年

7 冠 群;[N];中国企业报;2004年

8 本报记者 薛斐;[N];计算机世界;2001年

9 侯明清;[N];证券时报;2003年

10 《融资导刊》记者 李慧慧 通讯员 方文格;[N];民营经济报;2006年

中国博士学位论文全文数据库 前10条

1 张志敏;化学计量学算法实现的软件开发基础研究[D];中南大学;2012年

2 甘峰;复杂多组份体系智能分析系统[D];湖南大学;2001年

3 宁晓倩;基于系统动力学的软件开发项目管理[D];复旦大学;2004年

4 姜忠军;乙烯装置设备失效管理和备件智能库存的研究与软件开发[D];北京化工大学;2005年

5 陈继刚;铝合金轮毂集成制造信息系统研究[D];燕山大学;2006年

6 袁德;电力市场中发电设备检修计划协调优化理论与应用研究[D];华北电力大学（北京）;2008年

7 杨樟卫;基于目标管理的医院药学信息系统工程构建实证研究[D];第二军医大学;2006年

8 徐郁峰;大跨度预应力混凝土斜拉桥施工控制理论与核心技术研究及软件开发[D];华南理工大学;2004年

9 张静;支持业务流程变化的软件系统构建方法研究[D];山东大学;2007年

10 曾向农;矿山碾压尾矿坝稳定性分析及预警预报理论应用研究[D];中南大学;2008年

中国硕士学位论文全文数据库 前10条

1 龙宁;复杂荧光多组分体系中二阶标准加入及二阶校正化学计量学算法的基础研究[D];湖南大学;2001年

2 康壮;软件开发项目管理方法研究[D];对外经济贸易大学;2003年

3 罗阳军;渠道土方计算软件开发研究[D];西北农林科技大学;2004年

4 谭百宏;基于地理信息系统（GIS）的地理教学软件的研究与实现[D];东北大学;2005年

5 江华;银行住房补贴信息系统开发及项目管理[D];重庆大学;2005年

6 胡鹏;谷物产量数据处理及产量分布图生成系统的开发研究[D];江苏大学;2005年

7 黄云;注水工艺管柱力学行为研究[D];西南石油学院;2005年

8 怀超;关键块体理论在高速公路连拱隧道围岩稳定性分析中的应用[D];长安大学;2005年

9 肖碧涛;现代软件工程在电力系统中的应用研究[D];华中科技大学;2005年

10 张清卫;基于ANSYS的钢框架结构优化设计研究与软件开发[D];天津大学;2004年

  本文关键词：化学计量学算法实现的软件开发基础研究，由笔耕文化传播整理发布。

本文编号：106748