基于GS准则的小批量块坐标下降法

发布时间：2021-07-09 05:55

　　最优化是运筹学的一个重要分支,在经济、金融、工程、管理、军事与国防等诸多领域有广泛应用.特别地,它是机器学习与人工智能的关键技术.随着大数据时代的来临,数据规模越来越大,数据维数越来越高,现有最优化算法面临运算速度慢、计算量大的挑战.如何设计出快速有效的算法,是当今国际国内的一个热点研究课题.本文围绕机器学习中的一类随机优化算法进行研究,提出了一种新式快速算法.本文首先介绍了研究背景及意义,并对前人所提出的针对大规模优化问题的两类算法作出概述,然后在比较和总结前人研究的基础上,提出了基于GS准则的小批量块坐标下降法.该算法具有如下特点:（1）给出了块坐标情形下的GS准则,通过该准则选取特定坐标块,使得算法在每一迭代步有最优的目标函数下降量;（2）结合随机梯度下降法的思想,通过随机选择部分样本计算局部梯度作为对全局梯度的近似,以达到减少计算量的效果,并且通过引入方差缩减技术,使得由随机选择样本所带来的方差渐近收敛至零;（3）在每轮迭代步选取梯度中单个坐标块来更新参数,从而进一步减少计算量.本文基于4个真实数据集展开数值实验,从时间、计算量和稀疏度等方面比较不同算法效果,数值结果表明本文提... 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：46 页

【学位级别】：硕士

【部分图文】：

计算机视觉技术使计算机自动识别图片中的物体Figure1.1:Computervisionenablescomputerstoa

第１章绪论??１．?１背景介绍??最优化是运筹学的一个重要分支，在科学、社会、经济发展中起着很重要的??作用，在金融、国防、能源、医学、化工药学、通信及手工农业等领域有着大量??的应用，具有深远的实际价值．在我们的实际生活中，很多问题都可以归属到最??优化这一方面．特别地，它是机器学习与人工智能的关键技术．随着人工智能浪??潮的来临，ＡＩ深入到社会各个领域，大幅提升社会工作效率．机器学习是人工智??能的核心，而机器学习问题最终需要以最优化方法求解一类优化模型．随着大数??据时代的来临，数据规模庞大，数据维数极高，现有的最优化算法面临计算速度??缓慢、计算量较大的挑战．如何设计出快速求解相关优化模型的最优化算法，是??当今国际国内的一个热点研宄领域．只有最优化算法算得快，机器学习才能在可??接受时间范围内给出满意的结果．??人工智能在现实中应用广泛，以下是ＡＩ技术在实际生活中的应用：??

以上ＡＩ技术的背后，是各式各样的机器学习算法．而大部分机器学习算法??的核心在于最优化算法，它直接关系到ＡＩ算法是否能够满足人们对时间和效率??的要求．随着大数据时代的来临，数据量越来越庞大，数据的维度也越来越高，使??得传统的优化算法在求解相应优化问题时用时过长，甚至因受制于硬件因素（如??内存不足）而根本无法求解．一个好的最优化算法可以直接给社会带来效益，因??此其具有重要以及深远的意义．为了解决大规模数据及高维数据带来的计算和??存储方面的困难，随机梯度下降类算法和坐标下降类算法受到了越来越大的关??注．??随机梯度下降类算法（Ｓｔｏｃｈａｓｔｉｃ?Ｇｒａｄｉｅｎｔ?Ｄｅｓｃｅｎｔ）［ｌ，?３，?４，?１１，?１４，?１５，?２０，?２１，２３］??的思想主要为在每次迭代过程中随机选择一部分样本来计算梯度，作为对全局??梯度的一个近似，并用其更新参数，从而达到减小计算量的效果．针对样本维度??过大的问题，前人对于坐标下降类算法（Ｃｏｏｒｄｉｎａｔｅ?Ｄｅｃｓｅｎｔ）［５，?７，?１９，?３０，?３１，３４，?３５，??２??


本文编号：3273170