基于多任务学习的数据分类方法研究

发布时间：2021-06-14 09:04

　　在大数据应用环境下,信息产生的渠道不断增多,信息表达的方式也越来越多,数据的分析和挖掘面临很大的挑战。在机器学习领域,处理数据分类问题时,需要对进行分类的不同数据集建立对应的分类模型,即常规的单任务学习。但由于单任务学习存在信息利用不充分的局限性,导致分类正确率较低,因此挖掘多个训练任务之间的关联,对这些任务进行联合学习,从而提高模型泛化能力的多任务学习成为当前研究的热点课题之一。然而,现有分类方法在提取多个任务相关性方面仍有很大不足,忽略了对于含孤立任务的多个任务之间的关联性提取,以及与其他的分类技术进行有效结合,从而使分类正确率遇到瓶颈。本文通过利用机器学习领域的相关技术和方法,遵循提高数据分类正确率这一目标,针对目前基于多任务学习的数据分类技术存在的问题和不足展开研究,取得了一定的创新成果。论文主要研究工作有如下几点:（1）针对现有多任务学习模型对任务间的关联提取层次较为单一和提取不充分问题,提出了一种实现稀疏诱导的多任务学习模型。在传统研究的基础上,本文通过利用可以实现稀疏诱导的组稀疏范数来获得针对特定任务的组稀疏,实现多个相关任务间的特征共享,并提取任务内各个类别之间的关联,... 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

图２－２单任务学习模型??Ｆｉｇｕｒｅ?２－２?Ｓｉｎｇｌｅ－ｔａｓｋ?ｌｅａｒｎｉｎｇ?ｍｏｄｅｌ??

多任务模型架构能够可以明显地提高分类器的分类正确率［１９］。多任务中的??共享表示一个强大的抽象，它可以容纳多个相关的目标，这些目标通常会使一个??主任务得到更好的分类性能，所以分类正确率会大大地提高。图２－２和２－３展示了??多任务学习与传统的单任务学习的训练模式不同之处。本文构建了面向多任务的??分类预测模型，通过任务之间的信息共享，使多任务中的各个任务分类性能得到??了改善。??ｆ任务１?训练数据１?丨．模型训练Ｉ．．：．＇一泛化〉??：任务２?训练数据２?模型训ｇｓｒ＾＞?丨泛化、＞??、＇－?????＇?????????？?？??？?？??？?參??（任务ｔ?训练数据ｔ?Ｉ模型训练－＾＞?１泛化??图２－２单任务学习模型??Ｆｉｇｕｒｅ?２－２?Ｓｉｎｇｌｅ－ｔａｓｋ?ｌｅａｒｎｉｎｇ?ｍｏｄｅｌ??８??

?丨?［?泛化??图２－３多任务学习模型??Ｆｉｇｕｒｅ?２－３?Ｍｕｌｔｉ－ｔａｓｋ?ｌｅａｒｎｉｎｇ?ｍｏｄｅｌ??２．２．２任务间相关性??联合学习的多个任务之间存在相关性，即任务间存在共享信息是多任务学习??的必要条件。此处的共享信息可以是任务间共享的一组特征，可以是低秩的子空??间，可以是分类权重向量，也可以是神经网络的隐藏层单元。接下来讨论多任务??学习中任务间存在的几种相关性。??根据任务间联系不同，任务间相关性架构［２（）］有如下几种：??（１）

【参考文献】：
期刊论文
[1]正则化多任务学习的快速算法[J]. 史荧中,汪菊琴,许敏,王士同.  计算机科学与探索. 2017(06)
[2]一种基于教学模型的协同训练方法[J]. 胡菊花,姜远,周志华.  计算机研究与发展. 2013(11)
[3]基于多任务学习的自然图像分类研究[J]. 刘成,彭进业.  计算机应用研究. 2012(07)
[4]基于多任务学习的邮件过滤系统的研究[J]. 许棣华,王志坚.  计算机技术与发展. 2010(10)
[5]通过相似度支持度优化基于K近邻的协同过滤算法[J]. 罗辛,欧阳元新,熊璋,袁满.  计算机学报. 2010(08)



本文编号：3229503