多任务学习的研究

发布时间：2020-09-01 10:12

　　在机器学习中,经常会遇到对几个相关联的任务建立机器学习模型的情况,比如关于人脸的识别、人脸表情的判断、人年龄的预测等。这些任务本质上都是对人脸数据进行建模,但是传统的机器学习往往通过单任务学习的方法进行训练,针对每个任务单独学习一个模型。这种单任务学习的方法忽略了多个任务之间的联系,损失了一些存在于数据或者模型参数之间的信息。特别是在单任务本身数据量不足的情况下,单任务学习很难通过训练得到足够的数据分布信息,因此学习效果会有不同程度的下降。多任务学习的提出就是为了解决单任务学习的这种弊端,通过进行合理的假设,充分挖掘任务之间的关系,从而为每一个任务提供额外的训练信息,最终提高每个任务的表现。本论文主要针对多任务学习的情况,对不同场景下的多任务学习方法进行研究,希望通过多任务学习的方法提高每个任务的学习效果。目前已有的多任务学习方法大致可以分为三类:基于特征分享的多任务学习方法、基于模型参数分享的多任务学习方法、基于深度学习的多任务学习方法。相比于单任务学习方法,这些多任务学习方法的效果已经在多个数据集上得到了验证。但是已有的方法也存在缺陷,主要包含以下几个方面(1)多任务学习需要同时使用多个任务的数据,效率上受到限制,求解复杂度高。(2)只考虑特征之间的关系或者模型之间的关系,没有将二者进行结合,从而导致任务之间的关系不够紧密。(3)线性多任务学习方法拓展到非线性核空间复杂度高,不易求解。(4)现有方法只考虑了当前任务的性能,学习到的模型很难迁移到将来某个相关的任务中。该论文针对现有方法存在的问题,分别设计新的多任务学习算法,从而改善现有方法的缺点。主要可以分为四个部分:基于近似支持向量机的多任务学习方法、基于特征分享与模型参数分享的多任务学习方法,基于特征函数的多任务学习方法以及多任务学习的拓展。其中基于近似支持向量机的多任务学习方法,旨在提高多任务学习的效率,降低多任务学习的复杂度。该方法能够对多任务学习目标函数进行显式的求解,求解过程中本文对矩阵的相关运算进行优化,减少了训练样本增多带来的训练效率下降的问题。最终该方法的运行时间在多个数据集上能有一个量级的提高,并且能够保证多任务学习的效果。针对多任务学习信息利用不完全的问题,本文提出基于特征分享与模型参数分享相结合的多任务学习方法。该方法同时衡量特征之间与模型参数之间的关系,避免了任务之间关系挖掘不充分的缺点,在多个数据集上的表现都比分别基于特征分享或者模型参数分享的多任务模型要好。在该方法中,本文提出并证明了将非凸目标函数转化为等价凸优化问题的可行性,并给出了最优解,降低了求解的复杂度。最后,本文给出了泛化误差的理论分析,从理论上证明了该方法的优越性。为了实现线性多任务学习模型能够简单的拓展到非线性核空间,该论文提出了基于特征函数的多任务学习方法,该方法实现简单并且有着良好的实验表现。基于特征函数的多任务学习思想也是本文提出的全新的研究多任务学习的思路,为后面多任务学习的研究提供了新方法。该方法也在实验和理论两方面上证明了其有效性。除了上述严格意义上的多任务学习方法,本文还研究了多任务学习的两个拓展问题。首先提出了基于神经网络将分类任务与特征学习任务相结合的学习方法,使得分类与特征学习之间互相促进。其次,为了解决多任务学习模型难以拓展到将来的相关任务上的问题,本文提出了基于域自适应的多任务学习方法,通过域自适应学习,能够学习到不同任务共有的特征,从而将模型很好的迁移到将来的某个关联任务上。本论文的贡献及创新点大致可以总结如下:·该论文针对现有方法的不同缺点提出了多个多任务学习算法,改善了现有方法效率低、任务之间关系衡量不充分、难以拓展到非线性核空间等问题。·该论文不仅在实验上证明了本文提出方法的有效性,并且给出了理论证明,对提出方法的有效性给出了合理的数学解释及分析。·该论文提出的基于特征函数的多任务学习方法从一个全新的角度去衡量任务之间的关系,为后面多任务学习的研究提供了新思路。·该论文对多任务学习进行了拓展,提出了将不同目标的任务联合学习以及如何对将来的任务进行高效的学习。
【学位单位】：中国科学技术大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP181
【部分图文】：

示意图,学习方法,多任务,示意图

逡逑要思想可以通过图１．２表示，图中有５个相关连的任务，８个不同的特征，基于特逡逑征分享的多任务学习方法希望学习到一些所有任务都共享的特征，然后基于这逡逑些特征进行模型的学习，这些共享的特征就代表了不同任务之间的关系。比如逡逑Ａｒｇｙｒｉｏｕ邋等人提出的邋“Ｃｏｎｖｅｘ邋Ｍｕｌｔｉ－ｔａｓｋ邋Ｆｅａｔｕｒｅ邋Ｌｅａｍｉｎｇ”［８］方法是基于特征分逡逑享的一个经典的多任务学习方法，文中提出了以Ｌ２１范数作为特征约束学习稀逡逑疏的共享特征，在Ｌ２１范数的约束下大部分特征系数都会趋于零值，只有少部分逡逑特征系数非零，而这些非零的特征就是所有任务共享的特征。文中提出的目标函逡逑数非凸，为了方便求解，该非凸目标函数被转换为凸函数，并在多个数据集上进逡逑行了实验，效果相对于单任务学习和以前的多任务学习方法得到了提升。Ｇｏｎｇ逡逑等人指出“Ｃｏｎｖｅｘ邋Ｍｕｌｔｉ－ｔａｓｋ邋Ｆｅａｔｕｒｅ邋Ｌｅａｒｎｉｎｇ”邋一文中假设所有的任务都分享一逡逑部分特征的约束过于强

示意图,多任务,硬约束,学习方法

一些底部的层学习一些共有的低层次的特征，为了保证任务的独特性，每个任务逡逑在顶部拥有自己独特的层学习高层次的特征。这种方法底层共享的参数是完全逡逑相同的。图１．４代表的是另外一种多任务深度学习方法，该方法不要求底部的参逡逑数完全一样，而是对不同任务底部的参数进行正则化，比如ｄｕｏｎｇ等人［１７］提出逡逑的用Ｌ２范数对不同任务之间的参数进行距离约束保证任务之间的关联性，Ｙａｎｇ逡逑等人［１８］提出的用ｔｒａｃｅ邋ｎｏｒｍ对底部参数进行正则化等。相对于硬参数约束的多逡逑任务深度学习模型，软约束的多任务学习模型的约束更加宽松，当任务关系不是逡逑特别紧密的时候，有可能学习得到更好的结果。多任务深度学习模型需要同时学逡逑习一个适合多个任务的网络构架，一般来说模型具有更好的鲁棒性，不容易过拟逡逑合。逡逑任务Ａ逦任务Ｂ逦任务Ｃ逡逑厂１＿彳ｉ邋「＂Ｉｎ任务特有层逡逑Ｉ逦Ｉ逡逑共享层逡逑ｒ：＇＇＇逦１逡逑图１．３基于硬约束的多任务深度学习方法示意图。逡逑｜任务Ａ邋｜逦｜任务Ｂ邋｜逦｜任务Ｃ邋｜逡逑ＺＺＺ逡逑ｒ￣ｉ逦ｒｐ逦ｒ￣ｎ逡逑Ｉ逦ｈ￣￣￣逡逑ｌ邋＾逦￣￣受限层逡逑Ｌ—二—逦Ｊ￣＂ＴＶ：Ｖ」逡逑图１．４基于软约束的多任务深度学习方法示意图。逡逑１．２．４．现有方法存在的问题逡逑虽然多任务学习相对于单任务学习有明显的优势，但是现有多任务学习也逡逑存在一定的缺陷。具体总结如下：逡逑？多任务学习方法通常要使用多个任务的数据，因此效率上会受到很大的限逡逑制

示意图,软约束,多任务,学习方法

【相似文献】