基于降噪自动编码器的多任务优化算法

发布时间：2024-02-04 01:08

　　人类通常可同时进行多个任务的学习,将从一个任务中获得的知识应用到另一个任务中以加速此任务的学习.受此学习行为的启发,多任务学习(MTL)被提出并被广泛研究.与MTL动机类似,多任务优化(MTO)是在传统基于单任务优化算法基础上被提出的一种新型优化算法,该算法旨在同时在线执行多个任务,从一个任务中获取知识以帮助另一个任务,并进行任务间知识迁移,以提高多任务的优化性能.基于降噪自动编码器提出了一种新型MTO算法,推演出一种具有闭式解的降噪自动编码器,并利用此编码器显式地对多任务构建任务映射,从而使所提MTO算法能够利用不同的基于单任务优化算法的搜索偏好.采用常用的MTO基准进行综合性实验,验证了所提算法的有效性.

【文章页数】：10 页

【部分图文】：

图１Ｒａｓｔｒｉｇｉｎ′ｓ函数和Ｓｐｈｅｒｅ函数（ｃ）

来说更具挑战性；图１（ｂ）的凸Ｓｐｈｅｒｅ函数最简单；从图１（ｃ）中可以看出它们具有共同的全局最优．其中纵坐标Ｆ１为目标值，图１（ａ）、（ｂ）的ｘ１、ｘ２为搜索空间Ｘｉ的决策变量．因此，Ｓｐｈｅｒｅ函数的优化过程中找到的解可能有助于对复杂Ｒａｓｔｒｉｇｉｎ′ｓ函数的优化．（ａ）Ｒ....

图２ＭＴＯ算法的工作流程Ｆｉｇ．２ＷｏｒｋｆｌｏｗｏｆＭＴＯａｌｇｏｒｉｔｈｍ

式（２）可被简化成式（３）所示的矩阵形式：Ｌｓｑ（Ｍ）＝１２Ｎｔｒ［（Ｔ－ＭＳ）Ｔ（Ｔ－ＭＳ）］（３）其中ｔｒ（·）表示矩阵的迹，则式（３）的解可表示为普通最小二乘法［２０］的闭式解：Ｍ＝（ＴＳＴ）（ＳＳＴ）－１（４）４基于降噪自动编码器的ＭＴＯ算法假设同时优化两个问题Ｐ１、Ｐ２....

本文编号：3894945