近红外光谱多元动态校正模型研究及其在废液COD监测中的应用

发布时间：2020-08-09 08:40

【摘要】：页岩气是新开发的重要清洁能源,开采过程产生的大量废弃钻井液会严重污染环境,废弃钻井液污水处理亟需快速在线分析,以确保适时监控。近红外光谱法(Near Infrared,NIR)是一种无损、环保的快速检测方法,在近红外光谱分析实际应用中,样品近红外光谱和待测量存在复杂的间接关系,需要通过模型校正,建立测量数据与分析体系中某一待测组分含量之间的对应关系。然而,近红外光谱的获取过程受被测对象变化、仪器老化、环境扰动等影响具有时变性。当仪器测量过程慢慢发生演变时,基于早期数据的校正模型预测效果将无法得到有效保证。传统方法通过利用补充样品数据库定期维护模型,从而保证其适应性,但更新的校正模型中包含光谱仪大量的早期状态信息,不能准确代表仪器的最新测量状态。其表现为,在某一仪器或某一测量条件下建立的多元校准模型,在同一模型的其他仪器或同一仪器的不同附件之间,或在不同的测量环境条件下,预测结果会产生较大偏差,甚至校准模型都无法使用。因此,如何建立一个长期稳定有效的校正模型,是目前近红外光谱分析技术进行在线定性和定量分析的关键,直接决定该项技术应用的成败。本论文中的废弃钻井液实指废弃钻井液污水(以下简称废液),主要针对页岩气开采的紧迫需要,以废液的近红外光谱分析为研究对象,对影响近红外光谱多元动态校正模型的主要方面进行了深入研究,目的在于争取废液在线分析工程应用的突破。主要内容包括:(1)近红外光谱特征波长筛选方法的改进针对近红外光谱数据严重共线性问题,提出一种结合偏最小二乘法和虚假最近邻点法相结合的特征波长筛选方法。利用偏最小二乘法提取携带与废液中化学需氧量(Chemical Oxygen Demand,COD)浓度密切相关的光谱信息主元,以满足建立虚假最近邻点特征相似性测度所需的独立性质,同时保持波长选择与浓度信息的最大相关性;然后借助虚假最近邻点法计算各个原始波长点选择前后的距离相关性,在得到原始波长特征对COD浓度变量的解释能力排序后,依次剔除解释能力弱的特征,由此搜索出具有最好预测精度且含有最少波数的特征波长组合。通过与全波长PLS校正方法进行实验比较,该方法不仅简化了校正模型,而且增强了校正模型的预测能力,该研究为近红外光谱特征波长选择提供了一种新方法。(2)近红外光谱模型校正方法的改进多元校正模型的建立是进行近红外光谱定性定量分析的基础,新型建模方法一直是本领域研究的热点之一。本文提出一种将卡尔曼滤波(Kalman Filter,KF)与偏最小二乘(Partial Least Squares,PLS)相结合(KF-PLS)的模型校正方法。首先,将偏最小二乘回归的主因子系数作为KF算法的状态变量,最新时刻标准样品待测量作为KF的观测变量,新增一个标样,修正一次PLS模型,并引入遗忘因子,逐渐遗忘陈旧样品的作用,将问题转化为状态变量的估计过程。将该方法用于不同光谱仪测量的废液近红外光谱建模,对废液中COD含量进行检测,结果表明,该方法有效跟踪了动态演化的近红外光谱仪测量状态和外部样本信息;与PLS算法相比,该方法能够提升校正模型的适应性。(3)近红外光谱校正模型稳定性的提高当待测样本数量增大时,KF-PLS法建立的校正模型可能处于不稳定状态,这是近红外光谱仪测量过程的测量噪声所致。为了获得准确的KF-PLS模型,需要计算精确的测量噪声统计值。本文借鉴伽马测试(Gamma Test,GT)思想,首先利用带衰落记忆的GT对输入输出数据进行实时估计,得到精确观测噪声的估计值,再利用KF-PLS建模。采用由不同仪器测量的共600个废液近红外光谱样本对该方法进行有效性验证,并与KF-PLS算法比较。结果表明,该算法提高了KF-PLS法废液近红外光谱与COD浓度校正模型的稳定性。综上所述,本研究提出了:1)结合PLS和FNN的波长选择方法;2)基于KF-PLS的多元动态演化模型校正方法;3)基于GT-KF-PLS的增强稳定性的多元动态演化模型校正方法。经过整体优化的近红外光谱在线分析多元动态演化校正模型为废弃钻井液污水处理亟需解决的在线分析,开展工程应用创造了必须的前提条件,夯实了技术基础。
【学位授予单位】：重庆大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：O657.3;X832
【图文】：

流程图,近红外光谱分析技术,成分,流程图

图 1.1 近红外光谱分析技术检测物质成分流程图Fig.1.1 The flow chart of detecting material composition using near infrared spectroscopy由图 1.1 可知，化学计量学方法是近红外光谱分析中重要组成部分，其主要谱的预处理、特征信号提取以及建立多元定量校正模型等。在近红外技术与多元回归建模相结合的应用中，一般认为 PLS 方法是一种能力强的模型校正方法，可以建立全波长光谱和待测量的多校正模型[17]。随 PLS 方法的进一步研究和应用，通过使用特定方法筛选特征波长或波长范围获得更好的定量校正模型[18]。一方面，波长选择可以简化模型，更重要的是除无关或非线性特征后，校正模型具有更好的鲁棒性。因此，研究波长选，对于简化校正模型、提高模型的预测能力和增强模型的稳定性，均具有实际技术意义。目前，在多元校正分析中，波长选择的主流方法包括间隔二乘法（interval PLS，iPLS）[22]、遗传算法（genetic algorithms，GA）[23,24分析法、无信息变量的消除法（UVE）[19-21]，以及相关系数法、逐步回归统的特征筛选算法。这些方法针对不同对象都有成功的应用案例[25-32]。

模型图,动态演化,模型,校正模型

图 1.2 动态演化模型Fig.1.2 Evolution model如果废液监测依然按校正模型初始参数运行，基于早期废液数据的校正模型，预测新废液样本的准确性将无法得到保证。因此，要想实现废液在线分析校正模型的自适应性，需要不断的更新校正模型，在最佳校正模型的基础上对废液成分含量进行预测，达到校正模型自学习的目的。主流的 RPLS 是通过计算最小化测量误差平方和，以及最小化估计误差方差阵，来更新模型。在解决偏最小二乘每一次接收到新测量值时，面对全局更新的问题，不该忽略了模型内部变化。上述问题，必然会影响到基于近红外光谱技术的废液在线分析校正模型的有效性与适应性，成为近红外光谱在线定量分析面临的共性技术难题，也是制约基于近红外光谱在线分析技术工程应用推广的瓶颈。为此，本研究在总结、分析国内外相关成果基础上，提出以下技术突破的研究方向：①特征相似性测度结合偏最小二乘法，将原始光谱投影到正交的主成分子空间，再利用虚假最近邻点法进行光谱特征选取。

框图,技术路线,框图,废液

重庆大学博士学位论文程中的测量噪声协方差；最后建立废液近红外光谱与待测指标之间的线化模型，使模型具有自主校正（学习）的功能，实现近红外光谱技术绿检测废液 COD 含量。要研究内容及技术路线文以机械蒸汽压缩技术（Mechanical Vapour Recompression，MVR）净弃钻井液样本为研究对象，以增强废液近红外光谱动态校正模型的稳定实现废液 COD 的近红外光谱在线准确检测。技术路线框图如图 1.3 所合偏最小二乘法、虚假最近邻点法，进行光谱波长选取；②采用衰减记试，根据样本光谱和 COD 化验值进行实时估计，得到准确测量噪声估后的波长变量由 Kalman filter 结合 PLS 方法构建成多元动态校正模型

【参考文献】