基于大数据的新闻日志分析系统的设计与实现
发布时间：2021-01-13 19:57
在如今这个信息爆炸的大数据时代,谁掌握了数据,就掌握了主动权,数据已经变的越来越重要。日志数据作为用户在网络世界的行为操作记录,代表了用户对应用的各种行为偏好和用户习惯,越来越多的互联网公司,想通过用户的日志行为数据,挖掘出更有价值的商业信息,因此日志分析系统的也变的越来越重要。本文首先论述了新闻日志分析系统的研究背景和重要意义,并介绍了现存的日志分析系统,分析总结日志分析系统在实际的应用过程中所遇到的困难。然后,本文深入地研究了当前主流日志分析系统中所使用的技术,包括大数据处理框架Hadoop和Spark,同时对日志分析系统中的可行性技术分布式消息队列、日志采集框架、分布式协调一致服务的原理和应用场景进行了介绍。最后为了解决日志分析系统中存在的问题,从用户管理、数据的采集、数据的分析、系统监控和数据的展示这五个功能需求层面出发,对系统进行了相应的设计,设计并实现了新闻日志分析系统。最终,实现的新闻日志分析系统大大提高了业务人员数据分析的效率,对新闻业务的分析起到了很好的支持作用。
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
图２－２?ＨＤＦＳ结构示意图??
并进行及时有效的数据分析，最后将这些分析的数据结果展现出??通过这一系列的数据操作，可以让公司更深入的了解用户的操作行为。同时??些数据的分析有助于产品的完善，为产品的更新迭代提供数据的支持，并为??提供更好的服务。??系统用户角色分析??对日志分析系统进行用户分析后，将本系统的用户分为两类：超级管理员和??用户。超级管理主要负责用户的管理、日志数据的采集、日志数据的分析、??数据的展示和系统的监控。普通用户主要通过用户管理、日志数据展示、系??的信息的查看使用日志系统。通过以上描述，下图为系统的角色用例图如下图??所示。??
在整个新闻日志分析系统拥有最高的权限，可以实现对用户权限的管??理，对于普通用户需要对日志分析系统进行用户的注册和登录，才可以访问新闻??曰志分析系统。下图３－２描述了用户管理功能用例图。??用户注册??Ｑ??＾?？ｉｎｃｌｕｄｅ？?＼?Ｖ??起４?？＾，ｕｄｅ＞＞??＾?＾??用户权限管理??图３－２用户管理功能用例图??３．３．２日志数据采集功能需求??在新闻ＡＰＰ中，每天都会产生大量的新闻日志数据，这些日志数据是用户在??新闻ＡＰＰ上的行为操作日志数据，代表着用户对新闻ＡＰＰ的认可程度。通过一??套可行的技术方案将这些行为日志数据采集下来，是非常有必要的。??同时在新闻ＡＰＰ中存在着很多的新闻版块，公司为了减轻服务器的负载压??力，通常会将不同的新闻版块下推送分发业务分散到不同的服务器上，这样带来??的问题是当对新闻的推送业务进行数据分析时，需要到多个服务器上面进行数据??的采集
【参考文献】：
期刊论文
[1]面向Hadoop的自适应权限控制方案[J]. 王帅,赵刚,李佳慧. 中国科技信息. 2019(05)
[2]基于Hadoop大数据平台的金融产品购买行为分析[J]. 庞双玉. 电子技术与软件工程. 2019(04)
[3]面向云计算的期限约束的MapReduce作业调度方法[J]. 周博,李亚琼,刘永波,李守超,宋云奎. 计算机与现代化. 2018(11)
[4]并行计算框架Spark中一种新的RDD分区权重缓存替换算法[J]. 刘恒,谭良. 小型微型计算机系统. 2018(10)
[5]采用ECharts可视化技术实现的数据体系监控系统[J]. 冀潇,李杨. 计算机系统应用. 2017(06)
[6]集中管理服务日志[J]. 钱卫,袁瑞冬. 网络安全和信息化. 2017(06)
[7]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[8]基于Spark Streaming的实时能耗分项计量系统[J]. 武志学. 计算机应用. 2017(04)
[9]大数据环境下的分布式数据流处理关键技术探析[J]. 陈付梅,韩德志,毕坤,戴永涛. 计算机应用. 2017(03)
[10]一种基于Kafka的可靠的Consumer的设计方案[J]. 王岩,王纯. 软件. 2016(01)
硕士论文
[1]基于Spark的流数据分类挖掘算法的研究[D]. 庄荣.南京邮电大学 2018
[2]HDFS高可用性方案的优化与实现[D]. 胡文龙.南京邮电大学 2018
[3]基于Spark Streaming的实时新闻推荐平台的设计与实现[D]. 崔博.山东大学 2018
[4]基于Hadoop的SIM卡管理平台日志分析系统设计与实现[D]. 冯钒.北京邮电大学 2018
[5]基于Spark平台的推荐系统的研究与实现[D]. 王水德.厦门大学 2017
[6]面向移动新闻的日志收集分析系统的设计与实现[D]. 傅韧峤.北京交通大学 2017
[7]基于DStream模型流处理系统动态配置研究[D]. 刘金.山东大学 2016
[8]分布式复杂事件处理关键技术研究[D]. 尚永明.华北电力大学 2015
本文编号：2975473
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
图２－２?ＨＤＦＳ结构示意图??
并进行及时有效的数据分析，最后将这些分析的数据结果展现出??通过这一系列的数据操作，可以让公司更深入的了解用户的操作行为。同时??些数据的分析有助于产品的完善，为产品的更新迭代提供数据的支持，并为??提供更好的服务。??系统用户角色分析??对日志分析系统进行用户分析后，将本系统的用户分为两类：超级管理员和??用户。超级管理主要负责用户的管理、日志数据的采集、日志数据的分析、??数据的展示和系统的监控。普通用户主要通过用户管理、日志数据展示、系??的信息的查看使用日志系统。通过以上描述，下图为系统的角色用例图如下图??所示。??
在整个新闻日志分析系统拥有最高的权限，可以实现对用户权限的管??理，对于普通用户需要对日志分析系统进行用户的注册和登录，才可以访问新闻??曰志分析系统。下图３－２描述了用户管理功能用例图。??用户注册??Ｑ??＾?？ｉｎｃｌｕｄｅ？?＼?Ｖ??起４?？＾，ｕｄｅ＞＞??＾?＾??用户权限管理??图３－２用户管理功能用例图??３．３．２日志数据采集功能需求??在新闻ＡＰＰ中，每天都会产生大量的新闻日志数据，这些日志数据是用户在??新闻ＡＰＰ上的行为操作日志数据，代表着用户对新闻ＡＰＰ的认可程度。通过一??套可行的技术方案将这些行为日志数据采集下来，是非常有必要的。??同时在新闻ＡＰＰ中存在着很多的新闻版块，公司为了减轻服务器的负载压??力，通常会将不同的新闻版块下推送分发业务分散到不同的服务器上，这样带来??的问题是当对新闻的推送业务进行数据分析时，需要到多个服务器上面进行数据??的采集
【参考文献】：
期刊论文
[1]面向Hadoop的自适应权限控制方案[J]. 王帅,赵刚,李佳慧. 中国科技信息. 2019(05)
[2]基于Hadoop大数据平台的金融产品购买行为分析[J]. 庞双玉. 电子技术与软件工程. 2019(04)
[3]面向云计算的期限约束的MapReduce作业调度方法[J]. 周博,李亚琼,刘永波,李守超,宋云奎. 计算机与现代化. 2018(11)
[4]并行计算框架Spark中一种新的RDD分区权重缓存替换算法[J]. 刘恒,谭良. 小型微型计算机系统. 2018(10)
[5]采用ECharts可视化技术实现的数据体系监控系统[J]. 冀潇,李杨. 计算机系统应用. 2017(06)
[6]集中管理服务日志[J]. 钱卫,袁瑞冬. 网络安全和信息化. 2017(06)
[7]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[8]基于Spark Streaming的实时能耗分项计量系统[J]. 武志学. 计算机应用. 2017(04)
[9]大数据环境下的分布式数据流处理关键技术探析[J]. 陈付梅,韩德志,毕坤,戴永涛. 计算机应用. 2017(03)
[10]一种基于Kafka的可靠的Consumer的设计方案[J]. 王岩,王纯. 软件. 2016(01)
硕士论文
[1]基于Spark的流数据分类挖掘算法的研究[D]. 庄荣.南京邮电大学 2018
[2]HDFS高可用性方案的优化与实现[D]. 胡文龙.南京邮电大学 2018
[3]基于Spark Streaming的实时新闻推荐平台的设计与实现[D]. 崔博.山东大学 2018
[4]基于Hadoop的SIM卡管理平台日志分析系统设计与实现[D]. 冯钒.北京邮电大学 2018
[5]基于Spark平台的推荐系统的研究与实现[D]. 王水德.厦门大学 2017
[6]面向移动新闻的日志收集分析系统的设计与实现[D]. 傅韧峤.北京交通大学 2017
[7]基于DStream模型流处理系统动态配置研究[D]. 刘金.山东大学 2016
[8]分布式复杂事件处理关键技术研究[D]. 尚永明.华北电力大学 2015
本文编号：2975473
本文链接：https://www.wllwen.com/xinwenchuanbolunwen/2975473.html
