超参数自动调优算法研究

发布时间：2023-01-28 10:38

　　当下正处于人工智能（AI）在不断发展进步的时代,同时也是以大数据为基础的时代。但是在面临这样一个数据爆炸增长的大数据时代,如何合理的运用这些数据使得我们的日常生活变得便捷智能,这就需要不断提升的计算能力以及各种各样的性能强大的算法来支持。比如当下发展十分迅速的机器学习算法。但是,一个机器学习算法性能的好坏受到其自身的超参数的影响是很大的,因此,对于机器学习算法未来走向实用,设计出一个超参数自动调优算法是有着非常重要的意义。目前已经提出过很多的超参数自动调优的算法,比如基于不同代替函数的贝叶斯优化算法,其中包括基于Tree Parzen Estimator（TPE）的Hyperopt框架、基于随机森林Random Forest的SMAC框架以及还有基于高斯回归过程的贝叶斯优化算法等等。除此之外,还有很多通过各种进化算法的思想,比如模拟退火算法、基因遗传算法以及粒子群优化算法等等,实现对机器学习模型的超参数优化过程。但是上述算法都存在一定的缺点,本文针对进化调优算法和贝叶斯优化算法的缺点与不足分别提出了两种超参数自动调优算法。首先第一个创新点是提出了一种与贝叶斯优化同为数据驱动优化算法的基... 

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景与意义
    1.2 研究现状
    1.3 本文的主要研究内容与组织结构
        1.3.1 本文的主要研究内容
        1.3.2 本文的文章组织结构
第2章 超参数优化问题和目标模型选择
    2.1 超参数优化问题
    2.2 机器学习的超参数优化问题表述
    2.3 目标模型选择
        2.3.1 常用ML模型
        2.3.2 超参数调优目标模型选择
    2.4 本章小结
第3章 基于量子遗传的超参数调优算法
    3.1 常用的优化算法
        3.1.1 进化算法
    3.2 基于量子遗传的超参数自动调优算法
        3.2.1 量子遗传算法
        3.2.2 基于量子遗传的超参数自动调优算法
        3.2.3 基于量子遗传的超参数调优算法的改进及完善
    3.3 实验
        3.3.1 实验描述
        3.3.2 实验结果
        3.3.3 实验分析总结
    3.4 本章小结
第4章 基于MARS回归的超参数调优算法
    4.1 基于数据驱动的优化算法
    4.2 贝叶斯优化
        4.2.1 高斯回归过程GP
        4.2.2 采集函数
        4.2.3 算法步骤
    4.3 基于MARS回归的超参数调优算法
        4.3.1 MARS回归算法
        4.3.2 基于MARS回归的超参数调优算法
    4.4 实验
        4.4.1 实验过程及结果
        4.4.2 实验分析总结
    4.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3732504