学习引导的高维优化方法研究
发布时间：2021-02-10 21:47
在求解黑盒优化问题时,演化算法可以被看作是一类通用的优化器。不过随着待优化问题维度的增加,演化算法会遇到所谓的“维数灾难”问题。目前针对高维优化问题的研究仍是演化领域的难点和热点之一。本论文从学习的角度出发,试图通过学得关于问题的先验知识来帮助算法在高维优化中取得更好的效果。具体而言,本论文的研究工作和成果主要包含如下两个方面:1.针对大规模全局优化问题中CMA-ES算法计算代价大、优化效果差的问题,利用基于相关系数的分组（CCG）策略和模型复杂度控制（MCC）框架来移除高斯模型中冗余的自由度,以降低建模和采样的代价,提升优化效果。2.针对序列决策问题中规划长度选取的困境,引入策略网络和价值网络来从历史的经验中学习,进而指导搜索,使得智能体能以较短的规划长度和较少的搜索代价取得更好的规划结果。在CEC 2010大规模全局优化测试集上,本论文提出的MCC-CCG-CMAES算法统计显著地优于所对比的十种最先进的算法。在OpenAI Gym的运动控制测试环境中,本论文提出的p-RHEA算法的得分也统计显著地高于在线规划方法和强化学习方法。本论文的两个主要工作都具有普适的应用价值,对更加合理...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：74 页
【学位级别】：硕士
【部分图文】：
图１．２智能体与环境交互过程??
?第１章绪?论???ｖ?‘１：＇?“‘丨士—“二＇‘?＞??丨?＾?二，＇，卜心馨＾：遠－．??ｒｉｒ?］？Ｆ?ｍＩＣ?＾??（ａ）?Ａｎｔ－ｖ２?（ｂ）?Ｈｕｍａｎｏｉｄ－ｖ２?（ｃ）?ＨａｌｆＣｈｅｅｔａｈ－ｖ２??ｍ＿ｍ－＾??■ｒｉ＾＾５＇３?■論??（ｄ）?Ｈｏｐｐｅｒ－ｖ２?（ｅ）?Ｓｗｉｍｍｅｒ－ｖ２?（ｆ）?Ｗａｌｋｅｒ２ｄ－ｖ２??（ｇ）?ＩｎｖｅｒｔｅｄＰｅｎｄｕｌｕｍ－ｖ２?（ｈ）?ＩｎｖｅｒｔｅｄＤｏｕｂｌｅＰｅｎｄｕｌｕｍ－ｖ２??图１．３?ＭｕＪｏＣｏ运动仿真环境??１．４研究难点及创新之处??高维的实值优化问题出现在很多现实世界的场景中［１１，１３＿１４１它们在演化领??域一直是一类非常具有挑战性的任务。近些年，众多学者们做了一系列尝试来将??演化算法应用在高维优化问题中，并取得了一些重要的成果［１５１。考虑到ＣＭＡ－ＥＳ??算法在低维优化中表现优异，但在高维优化中往往由于０（Ｄ２）的计算复杂度而??难以直接应用，本论文试图从以下两个角度做出一些改进，以期其能在高维优化??中同样有出色的表现。??１．在大规模全局优化问题中，待优化的问题的维度固定为Ｄ＝?１０００。要想准??确估计ＣＭＡ－ＥＳ算法中协方差矩阵的参数，需要采样更多的个体，这样会??６??
?第２章相关工作综述???特殊形式，即所有的子空间的大小均为＾?＝?１。虽然只使用了协方差矩阵的对角??线元素，即变量间所有的相关性都被丢弃了，但它们在高维优化问题中往往比全??相关的模型表现地更好，这是因为准确估计一个可靠的全相关模型需要更大的??样本数量，这会很快地消耗完适应度评估次数。??Ｗ?ｆ（ｘ）?Ｗ?Ｗ?ｆ（ｓ２）?Ｗ??图２．１高斯分布ＰＤＦ的简化，／（ｘ）?＝?／（Ｓｌ）／（ｓ２）??２．２序列决策??２．２．１基于模型的规划方法??基于模型的规划方法是一类在线的方法，智能体通过探索未来环境来进行??当前的决策。这类方法不需要事先训练，但需要一个前向模型（Ｆｏｒｗａｒｄ?Ｍｏｄｅｌ，??简称ＦＭ）以允许智能体直接跳转回它经历过的状态。??ＭＣＴＳ［３Ｗ７１是一种典型的基于模型的规划方法，它通过仿真的方式构建起??—棵逐步增长的搜索树。ＭＣＴＳ中的每个结点对应一个状态ｓ，其孩子结点为下??一步可能到达的状态／，连接结点的边对应两状态之间所采取的动作同时，??树中的每个结点保留着仿真过程中的统计信息：ＡＴＧ，ａ）表示从状态ｓ出发的路??径经过边ａ的次数；〇（Ｓ，４表示从状态ｓ出发、经过边ａ的路径的平均累积奖??励。在每一次仿真中，ＭＣＴＳ首先从根结点（也就是当前状态Ｓ（）?＝?ｓ）出发，按??照如下的上置信界［３８］?（Ｕｐｐｅｒ?Ｃｏｎｆｉｄｅｎｃｅ?Ｂｏｕｎｄｓ?ｆｏｒ?Ｔｒｅｅ，简称ＵＣＴ）公式选择??下一个动作?＜，直到到达叶子结点Ｖ：??ｌｌｎＨａ，Ｎ（ｓｎａｔ）??ａ＇＝７＾ｒｓ＾）?＋?ｌ?（２－６）??其中参数〇可以用来平衡算法的开发性（对应前一项）与探索性（对应后一项）。
本文编号：3028040
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：74 页
【学位级别】：硕士
【部分图文】：
图１．２智能体与环境交互过程??
?第１章绪?论???ｖ?‘１：＇?“‘丨士—“二＇‘?＞??丨?＾?二，＇，卜心馨＾：遠－．??ｒｉｒ?］？Ｆ?ｍＩＣ?＾??（ａ）?Ａｎｔ－ｖ２?（ｂ）?Ｈｕｍａｎｏｉｄ－ｖ２?（ｃ）?ＨａｌｆＣｈｅｅｔａｈ－ｖ２??ｍ＿ｍ－＾??■ｒｉ＾＾５＇３?■論??（ｄ）?Ｈｏｐｐｅｒ－ｖ２?（ｅ）?Ｓｗｉｍｍｅｒ－ｖ２?（ｆ）?Ｗａｌｋｅｒ２ｄ－ｖ２??（ｇ）?ＩｎｖｅｒｔｅｄＰｅｎｄｕｌｕｍ－ｖ２?（ｈ）?ＩｎｖｅｒｔｅｄＤｏｕｂｌｅＰｅｎｄｕｌｕｍ－ｖ２??图１．３?ＭｕＪｏＣｏ运动仿真环境??１．４研究难点及创新之处??高维的实值优化问题出现在很多现实世界的场景中［１１，１３＿１４１它们在演化领??域一直是一类非常具有挑战性的任务。近些年，众多学者们做了一系列尝试来将??演化算法应用在高维优化问题中，并取得了一些重要的成果［１５１。考虑到ＣＭＡ－ＥＳ??算法在低维优化中表现优异，但在高维优化中往往由于０（Ｄ２）的计算复杂度而??难以直接应用，本论文试图从以下两个角度做出一些改进，以期其能在高维优化??中同样有出色的表现。??１．在大规模全局优化问题中，待优化的问题的维度固定为Ｄ＝?１０００。要想准??确估计ＣＭＡ－ＥＳ算法中协方差矩阵的参数，需要采样更多的个体，这样会??６??
?第２章相关工作综述???特殊形式，即所有的子空间的大小均为＾?＝?１。虽然只使用了协方差矩阵的对角??线元素，即变量间所有的相关性都被丢弃了，但它们在高维优化问题中往往比全??相关的模型表现地更好，这是因为准确估计一个可靠的全相关模型需要更大的??样本数量，这会很快地消耗完适应度评估次数。??Ｗ?ｆ（ｘ）?Ｗ?Ｗ?ｆ（ｓ２）?Ｗ??图２．１高斯分布ＰＤＦ的简化，／（ｘ）?＝?／（Ｓｌ）／（ｓ２）??２．２序列决策??２．２．１基于模型的规划方法??基于模型的规划方法是一类在线的方法，智能体通过探索未来环境来进行??当前的决策。这类方法不需要事先训练，但需要一个前向模型（Ｆｏｒｗａｒｄ?Ｍｏｄｅｌ，??简称ＦＭ）以允许智能体直接跳转回它经历过的状态。??ＭＣＴＳ［３Ｗ７１是一种典型的基于模型的规划方法，它通过仿真的方式构建起??—棵逐步增长的搜索树。ＭＣＴＳ中的每个结点对应一个状态ｓ，其孩子结点为下??一步可能到达的状态／，连接结点的边对应两状态之间所采取的动作同时，??树中的每个结点保留着仿真过程中的统计信息：ＡＴＧ，ａ）表示从状态ｓ出发的路??径经过边ａ的次数；〇（Ｓ，４表示从状态ｓ出发、经过边ａ的路径的平均累积奖??励。在每一次仿真中，ＭＣＴＳ首先从根结点（也就是当前状态Ｓ（）?＝?ｓ）出发，按??照如下的上置信界［３８］?（Ｕｐｐｅｒ?Ｃｏｎｆｉｄｅｎｃｅ?Ｂｏｕｎｄｓ?ｆｏｒ?Ｔｒｅｅ，简称ＵＣＴ）公式选择??下一个动作?＜，直到到达叶子结点Ｖ：??ｌｌｎＨａ，Ｎ（ｓｎａｔ）??ａ＇＝７＾ｒｓ＾）?＋?ｌ?（２－６）??其中参数〇可以用来平衡算法的开发性（对应前一项）与探索性（对应后一项）。
本文编号：3028040
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3028040.html
