基于关键超参数选择的监督式AutoML性能优化

发布时间：2021-04-09 05:04

　　近年来,关于机器学习的研究与应用在各个领域都取得了丰硕的成果,这些成果主要依赖于机器学习专家对机器学习各环节的大量人工干预,尤其是在算法选择和超参数调优阶段。自动机器学习（AutoML）的出现减轻了专家的负担,使其将工作重心从繁琐、重复的选型和调参任务转移到数据分析上来。众所周知,人们通常通过调整超参数的设置来提升模型的性能,这个过程称为超参数调优,它是AutoML中最耗时的阶段,在此过程中因为不同超参数对模型性能的影响差异较大,所以选择关键超参数对提高AutoML性能具有十分重要的应用价值和研究意义。本文面向传统监督式机器学习中的算法选择和超参数优化的组合优化问题（简称CASH问题）,重点分析超参数与模型性能之间的内在关系,并对AutoML配置器在运行过程中的搜索策略进行了深入研究。针对其性能瓶颈,设计并实现了基于关键超参数选择技术的性能优化组件。主要研究内容包括:（1）分析监督式AutoML配置器SMAC的性能瓶颈,发现在配置生成阶段,配置器中的采集函数因低性能配置具有高不确定性而产生额外不必要的评估开销;（2）分析超参数与模型性能之间的内在关系,利用平均不纯度下降法（MDI）量化... 

【文章来源】：贵州大学贵州省 211工程院校

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

AutoML的通用结构

图 3-1 SMAC 的组件框架图 配置器支持使用不同代理模型表示优化问题（即对于给定模型性能的内在关系），包括高斯随机过程模型和随机森斯随机过程模型的方法在具有数值型超参数的低维问题回归模型在高维结构化的离散型问题中表现较好[58]，且高维混合型问题，所以本文选择随机森林回归模型作为代来预测候选配置远比实际求解候选配置性能的计算成本的精确度依赖于样本量的大小和选择的候选配置。 配置器中候选配置的生成过程由“选择配置”组件控制。“机搜索和本地搜索得到一组候选配置，然后使用期望改进评估候选配置的潜力，从高到底排序后再进行实际训练数权衡了候选配置生成过程中的开发潜力（在已知包含良化超参数）与探索潜力（在未开发区域中尝试超参数配置

图 4-1 性能历史数据结构据计算得到的超参数重要性来筛选关键超间，具体的修剪过程如图 4-2 所示。修剪组剪搜索空间的，因此可将其视为从历史实验其中学习知识和应用知识两个阶段是交替进一步，超参数重要性的计算，计算方法已在关键超参数的筛选，对前一步计算得到的超 p 的超参数作为关键超参数，重要性小于q分方式比较简单直接，整个过程属于递归消算结果的影响较大。

【参考文献】：
期刊论文
[1]梯度下降法在机器学习中的应用[J]. 孙娅楠,林文斌.  苏州科技大学学报(自然科学版). 2018(02)
[2]人工智能革命“助燃剂”:机器学习[J]. 祝叶华.  科技导报. 2016(07)
[3]大数据机器学习系统研究进展[J]. 黄宜华.  大数据. 2015(01)
[4]迁移学习研究进展[J]. 庄福振,罗平,何清,史忠植.  软件学报. 2015(01)
[5]概念漂移数据流分类研究综述[J]. 文益民,强保华,范志刚.  智能系统学报. 2013(02)
[6]选择性集成学习算法综述[J]. 张春霞,张讲社.  计算机学报. 2011(08)
[7]基于梯度算法的支持向量机参数优化方法[J]. 刘昌平,范明钰,王光卫,马素丽.  控制与决策. 2008(11)
[8]利用粒子群算法优化SVM分类器的超参数[J]. 王东,吴湘滨.  计算机应用. 2008(01)
[9]基于启发式遗传算法的SVM模型自动选择[J]. 郑春红,焦李成,丁爱玲.  控制理论与应用. 2006(02)
[10]强化学习研究综述[J]. 高阳,陈世福,陆鑫.  自动化学报. 2004(01)



本文编号：3126972