多任务学习及其在光谱数据分析中的应用
发布时间：2020-08-08 15:01
【摘要】：近年来,利用紫外可见或者红外光谱仪测量分析物的光谱信息,之后从光谱信息中提取分析物的各种化学物理参数的方法在工业中得到了广泛的应用。这种方法使用起来的简便快速,同时基本不会损害分析样本。光谱测量方法特别适合于如水中污染物监测这类的在线实时监控中。光谱分析方法的流行的一个主要原因是随着近年来机器学习技术的发展,越来越多的新的先进的机器学习技术被引入到了光谱数据的建模之中。同时为了适应光谱数据维度高,各个维度之间存在强相关性的特点,人们也提出来许多适合于光谱数据分析的新的建模方法。本文从研究采用紫外可见光谱的水质监控系统出发,研究了多个光谱定量分析模型的标定问题以及多个光谱标定模型之间的迁移问题。主要是将机器学习中多任务学习的方法引入到了光谱数据分析中,针对光谱数据的特点设计了几种新的光谱定量分析以及模型迁移的方法,之后将这些方法推广了一般的机器学习问题之中。本文的主要工作可以归结为以下几个方面：第一,在利用光谱数据对分析物进行分析的时候,通常我们需要在实验室中搜集大量样本,然后用适当的光谱多元校正模型对样本的物理或者化学特征以及其对应的测量光谱之间的关系进行建模。在实际的使用中的光谱数据测量的环境可能与建模的实验室环境并不相同,因此我们通常也会搜集一些实际环境下的样本,然后用实际环境下的样本对实验室中建立的模型进行迁移,获得适合于实际环境中的模型。我们提出了几种基于多任务学习和高斯过程的模型迁移方法,这些方法只需要使用少量的真实环境中的样本就可以把实验室中建立的模型迁移到真实的环境之中。第二,对于一个基于紫外可见光谱仪的水质检测系统,我们会搜集到多个环境下的光谱和分析物浓度的数据,如果能够同时利用这些多个环境中的数据以及他们之间多元校正模型之间的联系,就可以构建出各个环境下的更加准确模型。我们利用了多任务学习的方法来分析不同光谱仪数据之间的联系,对于光谱数据特征维度高的特点,提出了两种同时选取特征波长以及提取不同模型之间共同结构的新的多任务学习方法。第三,我们提出了一种贝叶斯的可以同时进行特征提取的稀疏混合专家模型。混合专家模型可以将输入样本划分到多个子空间,然后用不同的子模型分别对划分后的数据进行建模,为了使得混合专家模型能够分析高维光谱数据,我们将稀疏贝叶斯方法与混合专家模型结合提出了一种新的稀疏混合专家模型。新提出的这个模型可以在不知道光谱数据的来源的时候分析从多种环境下搜集到的光谱数据。第四,我们将多任务学习方法和混合专家模型建模方法进行了结合,将多任务学习方法应用到单个分类问题之中,提出了一种使用迹范数正则的混合专家模型。我们利用混合专家模型的思路将一个分类问题划分成多个相关的子问题,同时利用多任务学习方法来提取这些子问题之间的联系,避免划分后训练单个子模型时样本数不足的问题。在几个机器学习的分类数据集上的实验显示了我们提出的这种方法的优秀性能。
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：O433.1;TP18
【图文】：
逦２逡逑Ｆｉｒｓｔ邋ｐｒｉｎｃｉｐａｌ邋ｃｏｍｐｏｎｅｎｔ逡逑图２．２由ＳＶＲ方法和ＫＳ算法选择的标准样本，这些投影点表示了这６０个标定样本逡逑的前２个主成分。逡逑２０逡逑
ＲＭＴＬ２逦０．０８３逦Ｃ：邋１００００００邋靴邋０．０２邋Ａ：邋１００逡逑２．药品数据集逡逑图２．４显示了这个数据集的第１０个样本被两个光谱仪测量得到的光谱。这逡逑个数据集中己经被划分成了邋１５５个训练样本和４６０个测试样本，实验里就直接使逡逑用这个划分。为了和文献［８４］的迂移结果进行比较，这里使用了和文献同样预处逡逑理步骤：删去了送个数据集中的１３个认为是误差点的样本。实验研究了从送个逡逑数据集的第一号光谱仪到第二号光谱仪么间模型的迁移，将标准样本的个数固定逡逑成了邋２４，因为根据文献［８４］的研充结果，一旦标准样本的个数达到２４个之后，进逡逑一步X椉颖曜佳镜母鍪阅Ｐ透路椒ǖ慕峁跋旌苄 ｅ义希玻冲义
本文编号：2785723
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：O433.1;TP18
【图文】：
逦２逡逑Ｆｉｒｓｔ邋ｐｒｉｎｃｉｐａｌ邋ｃｏｍｐｏｎｅｎｔ逡逑图２．２由ＳＶＲ方法和ＫＳ算法选择的标准样本，这些投影点表示了这６０个标定样本逡逑的前２个主成分。逡逑２０逡逑
ＲＭＴＬ２逦０．０８３逦Ｃ：邋１００００００邋靴邋０．０２邋Ａ：邋１００逡逑２．药品数据集逡逑图２．４显示了这个数据集的第１０个样本被两个光谱仪测量得到的光谱。这逡逑个数据集中己经被划分成了邋１５５个训练样本和４６０个测试样本，实验里就直接使逡逑用这个划分。为了和文献［８４］的迂移结果进行比较，这里使用了和文献同样预处逡逑理步骤：删去了送个数据集中的１３个认为是误差点的样本。实验研究了从送个逡逑数据集的第一号光谱仪到第二号光谱仪么间模型的迁移，将标准样本的个数固定逡逑成了邋２４，因为根据文献［８４］的研充结果，一旦标准样本的个数达到２４个之后，进逡逑一步X椉颖曜佳镜母鍪阅Ｐ透路椒ǖ慕峁跋旌苄 ｅ义希玻冲义
本文编号：2785723
本文链接：https://www.wllwen.com/shoufeilunwen/jckxbs/2785723.html
教材专著
