用户行为分析算法及其在Spark上的应用研究
发布时间：2021-09-09 09:34
随着互联网的飞速发展,大数据已经成为时代的热点之一。在此背景下,网络用户行为数据量急速增长,而商家迫切需要通过对这些数据分析来了解用户的兴趣爱好,以便于向用户做精准的广告投放和适合用户需求的个性化推荐来达到利润最大化的目的,而用户也需要商家对自己的行为数据分析之后,有针对性的提供用户自身感兴趣的信息,从而享受更加便利快捷的服务。目前,已经有许多学者对用户行为分析做了相关研究。然而在数据量日益增大的情况下,传统的数据库技术已经难以满足需求,近年来,各种大数据技术应运而生,Hadoop、Spark等平台为处理海量的用户行为数据提供了技术支撑。本文在研究了神经网络的多种学习方法后,针对基于梯度下降算法的神经网络收敛速度慢,易陷入局部最优问题与基于进化算法的神经网络计算量过大的缺点,提出了一种使用BSA算法改进神经网络的算法——BSANN算法。BSANN算法利用群智能算法计算简单的特点来加快神经网络的学习速度,全局搜索能力强的特点提高神经网络的准确率,同时利用BSA算法中的迁移概念避免了陷入局部最优解的问题。在此基础上,本文对电商网站的用户行为数据进行了分析,建立了相应的神经网络模型并从其中提...
【文章来源】：浙江工业大学浙江省
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
Spark生态圈
浙江工业大学硕士学位论文 Spark 架构Spark 集群的架构为主从式（Master-Slave）架构，如图 2-2。主节点被ter 节点或 Driver 节点，它只负责调度各个工作节点，并不会参与集群主节点负责管控各个从节点的运行状态和资源分配。而从节点被称为 W，负责接收主节点的命令与向主节点汇报状态。执行器（Executor）负Task）的调度和执行；Driver 负责控制一个应用（Application）的执行 Spark 应用的执行过程中，Driver 是 Application 的逻辑执行起点，它lication 的 main 函数并创建 SparkContext，SparkContext 把 Task 分发给 W Executor；Worker 启动 Executor，Executor 启动线程池用于执行 Task。
否则返回第三步。于蚁群算法中每个个体都是一个单独计算的单元，故而有着很好的并行性。同时每个个体之间是通过信息素进行交流的，所以在信息传递方面小。蚁群算法的特点有分布式计算，正反馈机制与贪婪式搜索，它具有搜索最优解的能力，但同时，它也有着收敛速度慢，容易陷入局部最优神经网络物学中，构成神经系统的基本单元是神经细胞，亦称为生物神经元。人是由 1000 多亿神经元组成的。单个神经元主要由细胞体，轴突和树突图 2-3 所示。
【参考文献】：
期刊论文
[1]基于遗传算法优化BP神经网络的交通流预测[J]. 赵怀柏,王逸凡,宋晓鹏. 交通与运输(学术版). 2017(02)
[2]基于遗传算法改进BP神经网络的IAQ评价[J]. 冯浩栋,韩旭,罗华山. 微型机与应用. 2017(23)
[3]改进鸟群算法用于SVM参数选择[J]. 张伟伟,刘勇进,彭君君. 计算机工程与设计. 2017(12)
[4]基于遗传神经网络的机器人视觉控制方法[J]. 郭文静,郑来芳. 电子测量技术. 2017(12)
[5]基于灰狼群智能最优化的神经网络PM2.5浓度预测[J]. 石峰,楼文高,张博. 计算机应用. 2017(10)
[6]基于群智能算法的神经网络建模研究[J]. 王闪闪. 电子科技. 2017(04)
[7]改进鸟群算法及其在梯级水库优化调度中的应用[J]. 崔东文,金波. 三峡大学学报(自然科学版). 2016(06)
[8]基于嵌入式向量和循环神经网络的用户行为预测方法[J]. 刘杨涛,南书坡,杨新锋. 现代电子技术. 2016(23)
[9]大数据技术的发展及其研究综述[J]. 陈俊宇. 中国管理信息化. 2016(20)
[10]群智能算法优化神经网络在网络安全的应用[J]. 何欢. 现代电子技术. 2016(20)
博士论文
[1]基于矩阵分解的个性化推荐系统[D]. 王科强.华东师范大学 2017
[2]PSO优化神经网络算法的研究及其应用[D]. 涂娟娟.江苏大学 2013
硕士论文
[1]基于深度神经网络的视频个性化推荐系统研究[D]. 高睿.深圳大学 2017
[2]个性化推荐系统中基于用户的协同过滤算法与系统架构的研究与优化[D]. 许征征.山东大学 2017
[3]基于Hadoop的电子商务推荐系统设计与实现[D]. 王东.西安工业大学 2017
[4]基于SVD与SVM混合推荐的电影推荐系统的研究[D]. 薄慧丽.太原理工大学 2017
[5]基于特征选择和模型融合的网络购买行为预测研究[D]. 刘潇蔓.北京交通大学 2017
[6]基于Hadoop的新闻推荐系统关键技术的研究[D]. 王均贤.天津理工大学 2017
[7]基于Spark的推荐系统的研究[D]. 李现伟.浙江理工大学 2017
[8]针对大规模网络访问数据的相关性及用户行为预测分析[D]. 李淑婷.北京邮电大学 2017
[9]基于Spark的网络用户行为分析方法的研究[D]. 阮得宝.湖南工业大学 2016
[10]基于大规模电商数据的用户消费行为分析方法研究[D]. 顾海斌.吉林大学 2016
本文编号：3391857
【文章来源】：浙江工业大学浙江省
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
Spark生态圈
浙江工业大学硕士学位论文 Spark 架构Spark 集群的架构为主从式（Master-Slave）架构，如图 2-2。主节点被ter 节点或 Driver 节点，它只负责调度各个工作节点，并不会参与集群主节点负责管控各个从节点的运行状态和资源分配。而从节点被称为 W，负责接收主节点的命令与向主节点汇报状态。执行器（Executor）负Task）的调度和执行；Driver 负责控制一个应用（Application）的执行 Spark 应用的执行过程中，Driver 是 Application 的逻辑执行起点，它lication 的 main 函数并创建 SparkContext，SparkContext 把 Task 分发给 W Executor；Worker 启动 Executor，Executor 启动线程池用于执行 Task。
否则返回第三步。于蚁群算法中每个个体都是一个单独计算的单元，故而有着很好的并行性。同时每个个体之间是通过信息素进行交流的，所以在信息传递方面小。蚁群算法的特点有分布式计算，正反馈机制与贪婪式搜索，它具有搜索最优解的能力，但同时，它也有着收敛速度慢，容易陷入局部最优神经网络物学中，构成神经系统的基本单元是神经细胞，亦称为生物神经元。人是由 1000 多亿神经元组成的。单个神经元主要由细胞体，轴突和树突图 2-3 所示。
【参考文献】：
期刊论文
[1]基于遗传算法优化BP神经网络的交通流预测[J]. 赵怀柏,王逸凡,宋晓鹏. 交通与运输(学术版). 2017(02)
[2]基于遗传算法改进BP神经网络的IAQ评价[J]. 冯浩栋,韩旭,罗华山. 微型机与应用. 2017(23)
[3]改进鸟群算法用于SVM参数选择[J]. 张伟伟,刘勇进,彭君君. 计算机工程与设计. 2017(12)
[4]基于遗传神经网络的机器人视觉控制方法[J]. 郭文静,郑来芳. 电子测量技术. 2017(12)
[5]基于灰狼群智能最优化的神经网络PM2.5浓度预测[J]. 石峰,楼文高,张博. 计算机应用. 2017(10)
[6]基于群智能算法的神经网络建模研究[J]. 王闪闪. 电子科技. 2017(04)
[7]改进鸟群算法及其在梯级水库优化调度中的应用[J]. 崔东文,金波. 三峡大学学报(自然科学版). 2016(06)
[8]基于嵌入式向量和循环神经网络的用户行为预测方法[J]. 刘杨涛,南书坡,杨新锋. 现代电子技术. 2016(23)
[9]大数据技术的发展及其研究综述[J]. 陈俊宇. 中国管理信息化. 2016(20)
[10]群智能算法优化神经网络在网络安全的应用[J]. 何欢. 现代电子技术. 2016(20)
博士论文
[1]基于矩阵分解的个性化推荐系统[D]. 王科强.华东师范大学 2017
[2]PSO优化神经网络算法的研究及其应用[D]. 涂娟娟.江苏大学 2013
硕士论文
[1]基于深度神经网络的视频个性化推荐系统研究[D]. 高睿.深圳大学 2017
[2]个性化推荐系统中基于用户的协同过滤算法与系统架构的研究与优化[D]. 许征征.山东大学 2017
[3]基于Hadoop的电子商务推荐系统设计与实现[D]. 王东.西安工业大学 2017
[4]基于SVD与SVM混合推荐的电影推荐系统的研究[D]. 薄慧丽.太原理工大学 2017
[5]基于特征选择和模型融合的网络购买行为预测研究[D]. 刘潇蔓.北京交通大学 2017
[6]基于Hadoop的新闻推荐系统关键技术的研究[D]. 王均贤.天津理工大学 2017
[7]基于Spark的推荐系统的研究[D]. 李现伟.浙江理工大学 2017
[8]针对大规模网络访问数据的相关性及用户行为预测分析[D]. 李淑婷.北京邮电大学 2017
[9]基于Spark的网络用户行为分析方法的研究[D]. 阮得宝.湖南工业大学 2016
[10]基于大规模电商数据的用户消费行为分析方法研究[D]. 顾海斌.吉林大学 2016
本文编号：3391857
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3391857.html
