逻辑回归算法改进及基于TensorFlow并行化研究

发布时间：2021-03-10 06:09

　　数据分类作为数据挖掘中一个重要的分支,如今已经成为大数据时代的研究热点。逻辑回归是一种重要的机器学习分类算法,凭借其模型简单、训练高效、对线性数据拟合程度高等优点,在互联网、医疗、金融等领域有着广泛的应用。求解逻辑回归算法中的损失函数通常使用梯度下降这种迭代算法。在不同的梯度下降法中,小批量梯度下降法因其出色的性能被更加广泛地应用。传统的小批量梯度下降法中采用固态学习率,其缺点是在算法训练过程中,始终不变的学习率可能会导致算法的损失函数无法收敛到最优值,使得算法的训练效率和分类精度都会受到影响,在如今样本数据规模越来越大的情况下,无法满足需求,因此本文一个研究方向是对算法进行改进。另一方面规模越大的数据集对逻辑回归算法的训练速度有着越高的要求。随着GPU硬件技术的发展,越来越多的研究集中在GPU通用计算领域上。这为逻辑回归算法运算加速提供了方向。Tensor Flow作为时下十分流行的机器学习框架,十分支持对GPU的调用,这也为实现逻辑回归算法在GPU上的加速提供了合适的平台。论文针对以上两个问题,主要完成如下两方面工作:（1）针对小批量梯度下降法中采用固态学习率方法进行改进,提出了一... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

线性回归拟合效果图

图 2.3 sigmoid 函数看出，当自变量 趋近于正无穷时，因变量 趋量 趋近于 0。它可以将任意实数映射到（0， ，这可以看作是一条分界线，以 0.5 为分界阈 时， 被分为另一个类别。这也是 Sig0.5-6 -4 -2 0 2 4 61

图 2.5 TensorFlow 计算示意图Graphics processing unit）简称 GPU。GPU 最早被随着机器学习的发展与兴起，GPU 强大的运算能力 CPU，GPU 有着强大的并行计算能力。如图 2.6 所是算术逻辑单元，Cache 是 CPU 内部缓存，DRAM 的对比，可以发现 GPU 将更多的晶体管用作执行单用来作为控制单元和缓存单元。这也是 GPU 的运

【参考文献】：
期刊论文
[1]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪.  计算机学报. 2018(08)
[2]随机森林理论浅析[J]. 董师师,黄哲学.  集成技术. 2013(01)
[3]随机森林方法研究综述[J]. 方匡南,吴见彬,朱建平,谢邦昌.  统计与信息论坛. 2011(03)
[4]决策树算法及其核心技术[J]. 杨学兵,张俊.  计算机技术与发展. 2007(01)

硕士论文
[1]GPU存储管理系统的设计与实现[D]. 肖灵芝.西安邮电大学 2013



本文编号：3074188