基于强化学习的超参数优化方法

发布时间：2021-05-25 12:32

　　近年来,机器学习算法广泛应用于多个领域.超参数的选择直接影响了算法模型的性能,然而超参数优化过程往往依赖于专业知识和长期经验的积累.为了解决上述问题,本文提出了一种基于强化学习的自动超参数优化方法.该方法将超参数优化问题作为序列决策问题并建模为马尔科夫决策过程,通过使用一个强化学习智能体（agent）,自动为机器学习算法选择超参数.该智能体以最大化待优化模型在验证数据集上的准确率为目标,将模型在验证数据集上的准确率作为奖赏值（reward）,通过策略梯度算法训练智能体.为了减小训练过程中的方差,我们设计了数据引导池模块.实验将随机森林和XGBoost算法作为优化对象,在五个数据集上与随机搜索、贝叶斯优化、TPE、CM-AES和SMAC五种优化方法进行了对比.实验结果显示,本文所提出的方法在90%的优化任务上表现出更优的性能.同时,我们通过执行一系列消融实验验证了agent结构和数据引导池的有效性. 

【文章来源】：小型微型计算机系统. 2020,41(04)北大核心CSCD

【文章页数】：6 页

【文章目录】：
1 引言
2背景及相关工作
3 基于强化学习的超参数优化方法
    3.1 整体结构
    3.2 详细设计
        3.2.1 Agent结构设计
        3.2.2 Agent训练
        3.2.3 数据引导池(Boot Pool)模块
4 实验结果及分析
    4.1 实验细节
    4.2 Agent结构的有效性
    4.3 数据引导池模块对优化结果的影响
    4.4 对比BP-Agent方法与其他优化方法
    4.5 讨论与分析
5 结束语



本文编号：3205347