基于Storm的实时热点商品分析系统的设计与实现
发布时间：2021-01-26 08:34
目前电子商城应用中出现了越来越多的商品秒杀活动,如:小米每周二12点手机秒杀、淘宝双十一秒杀和京东618商品秒杀等,几乎每个电商网站都存在着商品秒杀活动。商品秒杀系统如此常见,同时也面临着各种问题:数据隔离、高并发请求、单账号和多账号多次请求、数据一致性、实时热点发现等等。商品秒杀系统一般会给热点数据部署单独的Cache集群、单独使用更高带宽的服务器,从而将热点数据与普通数据进行隔离,目的是为了不让1%的热点数据影响99%的普通数据。尽管如此,仍然可能从99%的普通数据中出现实时热点数据,由于系统无法提前知道哪些普通数据可能会成为实时热点数据,因此也就无法提前进行保护。因此需要根据系统数据进行实时分析,在尽可能短的时间内发现实时产生的热点商品数据,随后立即做出相应调整,才能有效保证系统的高可用。本文主要解决秒杀场景下实时热点商品数据发现问题,不涉及热点发现后的系统调整问题。由于热点数据的产生都是用户行为导致的,比如购买、浏览、分享、搜索等,所以本文将针对秒杀系统中的用户行为日志进行实时分析,主要进行了如下工作:1.介绍系统使用的相关技术。使用Flume框架进行分布式日志采集;使用Kaf...
【文章来源】：中南民族大学湖北省
【文章页数】：51 页
【学位级别】：硕士
【部分图文】：
Worker、Executor、Task关系图
图 2.2 Storm 任务执行流程图式协调工具 Zookeeperper 是一个开源的分布式应用程序的协调服务，简单来说就是于解决分布式程序中的一致性问题。Zookeeper 的主要工作就管理，集群管理，分布式锁，队列管理[18,19]。per 核心角色介绍如表 2.2 所示：表 2.2 Zookeeper 各服务器角色介绍色 描述Leader 是 Zookeeper 集群的主节点，负责事务的调度与处理，保证集群事务的顺序性；负责内部个服务器的调度。Follower参与事务请求 Proposal 的投票；参与 Leader 选票。ObserverObserver 不参加投票，只同步 Leader 状态。
图 2.3 Zookeeper 中 client 与 service 数据交互如图 2.4 所示，是 Zookeeper 的数据读写过程：图 2.4 Zookeeper 数据读写原理图写过程，Follower 接收到写请求，将请求转发给 Leader，Leader 进行原，直到所有的节点都成功写入数据，才算完成写请求，最后 Zookeeper 服户端发回响应，当写到一半以上的节点就可以返回响应。Zookeeper 不能次都读取到最新的内容，这时候可以通过 sync()解决。读过程，因为 Zookeeper 的存储结构模式使得写的数据可以保证集群所点都是同步命名控件，所以读的时候可以在任意一台 Zookeeper 节点上。
【参考文献】：
期刊论文
[1]基于特征聚类的封装特征选择算法[J]. 胡峰,杨梦. 计算机工程与设计. 2018(01)
[2]基于消费心理的饥饿营销策略研究[J]. 李东昆. 中国集体经济. 2018(02)
[3]基于SSM框架的WEB系统秒杀优化设计[J]. 刘昆鑫,卜庆凯. 青岛大学学报(工程技术版). 2017(04)
[4]基于Hadoop的大数据处理平台研究[J]. 朱颢东,冯嘉美,张志锋. 华中师范大学学报(自然科学版). 2017(05)
[5]基于Hadoop、Storm、Samza、Spark及Flink大数据处理框架的比较研究[J]. 赵娟,程国钟. 信息系统工程. 2017(06)
[6]浅析云环境下的大数据关键技术[J]. 胡莹. 电脑知识与技术. 2017(09)
[7]基于Hadoop与Storm的日志实时处理系统研究[J]. 李洋,吕家恪. 西南师范大学学报(自然科学版). 2017(04)
[8]基于Flume的分布式日志聚合系统的研究[J]. 陈军. 科技视界. 2017(11)
[9]基于Storm的流数据KNN分类算法的研究与实现[J]. 周志阳,冯百明,杨朋霖,温向慧. 计算机工程与应用. 2017(19)
[10]日志综合管理平台基于Storm框架的实现[J]. 李团结,从新法,李光明. 中国新通信. 2017(06)
硕士论文
[1]基于STORM的流数据分类挖掘算法的研究[D]. 张发杨.南京邮电大学 2016
[2]基于Storm的实时日志分析系统的设计与实现[D]. 屈国庆.南京大学 2016
本文编号：3000802
【文章来源】：中南民族大学湖北省
【文章页数】：51 页
【学位级别】：硕士
【部分图文】：
Worker、Executor、Task关系图
图 2.2 Storm 任务执行流程图式协调工具 Zookeeperper 是一个开源的分布式应用程序的协调服务，简单来说就是于解决分布式程序中的一致性问题。Zookeeper 的主要工作就管理，集群管理，分布式锁，队列管理[18,19]。per 核心角色介绍如表 2.2 所示：表 2.2 Zookeeper 各服务器角色介绍色 描述Leader 是 Zookeeper 集群的主节点，负责事务的调度与处理，保证集群事务的顺序性；负责内部个服务器的调度。Follower参与事务请求 Proposal 的投票；参与 Leader 选票。ObserverObserver 不参加投票，只同步 Leader 状态。
图 2.3 Zookeeper 中 client 与 service 数据交互如图 2.4 所示，是 Zookeeper 的数据读写过程：图 2.4 Zookeeper 数据读写原理图写过程，Follower 接收到写请求，将请求转发给 Leader，Leader 进行原，直到所有的节点都成功写入数据，才算完成写请求，最后 Zookeeper 服户端发回响应，当写到一半以上的节点就可以返回响应。Zookeeper 不能次都读取到最新的内容，这时候可以通过 sync()解决。读过程，因为 Zookeeper 的存储结构模式使得写的数据可以保证集群所点都是同步命名控件，所以读的时候可以在任意一台 Zookeeper 节点上。
【参考文献】：
期刊论文
[1]基于特征聚类的封装特征选择算法[J]. 胡峰,杨梦. 计算机工程与设计. 2018(01)
[2]基于消费心理的饥饿营销策略研究[J]. 李东昆. 中国集体经济. 2018(02)
[3]基于SSM框架的WEB系统秒杀优化设计[J]. 刘昆鑫,卜庆凯. 青岛大学学报(工程技术版). 2017(04)
[4]基于Hadoop的大数据处理平台研究[J]. 朱颢东,冯嘉美,张志锋. 华中师范大学学报(自然科学版). 2017(05)
[5]基于Hadoop、Storm、Samza、Spark及Flink大数据处理框架的比较研究[J]. 赵娟,程国钟. 信息系统工程. 2017(06)
[6]浅析云环境下的大数据关键技术[J]. 胡莹. 电脑知识与技术. 2017(09)
[7]基于Hadoop与Storm的日志实时处理系统研究[J]. 李洋,吕家恪. 西南师范大学学报(自然科学版). 2017(04)
[8]基于Flume的分布式日志聚合系统的研究[J]. 陈军. 科技视界. 2017(11)
[9]基于Storm的流数据KNN分类算法的研究与实现[J]. 周志阳,冯百明,杨朋霖,温向慧. 计算机工程与应用. 2017(19)
[10]日志综合管理平台基于Storm框架的实现[J]. 李团结,从新法,李光明. 中国新通信. 2017(06)
硕士论文
[1]基于STORM的流数据分类挖掘算法的研究[D]. 张发杨.南京邮电大学 2016
[2]基于Storm的实时日志分析系统的设计与实现[D]. 屈国庆.南京大学 2016
本文编号：3000802
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3000802.html
