当前位置:主页 > 科技论文 > 软件论文 >

校园无线网络日志大数据分析平台的研究与实现

发布时间:2019-04-11 21:25
【摘要】:在信息化发展迅速的今天,通过上网产生的网络日志数据量也随之快速的增长。如今,网络日志已成为海量数据的一个典型的代表。面对海量的网络日志,传统的单一节点的分析方法已经显得乏力甚至无法应对。如何处理这些海量的数据,并加以利用,是我们面对的一个问题。论文研究了 Hadoop的相关背景和意义,对目前流行的大数据技术进行了深入的学习和研究,将大数据技术和校园无线网络日志分析相结合。论文首先采用Flume技术对日志文件数据进行采集,通过分布式文件系统HDFS对采集到的日志数据文件进行分布式存储,再利用MapReduce技术对采集到的数据进行清洗和处理。然后使用Hive工具对数据进行分析,并通过相关技术将分析结果导入到MySQL等关系型数据库中。最后通过web界面进行分析结果的展示。论文通过以上技术,建立了一个基于Hadoop的校园网络日志分析平台。文章意在通过网络日志大数据分析平台将校园网络日志中的数据进行采集分析并将分析结果利用起来,希望能借此对学校的管理带来一定的帮助。
[Abstract]:With the rapid development of information technology today, the amount of network log data generated through the Internet also increases rapidly. Nowadays, web log has become a typical representative of mass data. In the face of massive network logs, the traditional single node analysis method has become weak or even unable to deal with. How to deal with these huge amounts of data and make use of them is a problem we face. In this paper, the background and significance of Hadoop are studied, the popular big data technology is deeply studied and studied, and the big data technology is combined with the analysis of campus wireless network log. Firstly, the Flume technology is used to collect the log file data, the distributed file system (HDFS) is used to store the collected log data file, and then the MapReduce technology is used to clean and process the collected data. Then we use Hive tool to analyze the data and import the results into relational database such as MySQL. Finally, the analysis results are displayed through the web interface. Through the above technology, this paper establishes a campus network log analysis platform based on Hadoop. The purpose of this paper is to collect and analyze the data in the campus web log through big data analysis platform, hoping to bring some help to the management of the school.
【学位授予单位】:内蒙古农业大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13

【参考文献】

相关期刊论文 前10条

1 周平;马斌;韩冰;苏宇晨;;基于大数据平台的日志分析预警技术研究[J];电脑知识与技术;2016年32期

2 何雅琴;李涛;;网络访问日志实时分析系统在Storm平台上的实现[J];信息化研究;2016年04期

3 潘威华;;跨平台网络设备日志整理与分析系统研究[J];江苏科技信息;2016年05期

4 詹义;方媛;;基于Spark技术的网络大数据分析平台搭建与应用[J];互联网天地;2016年02期

5 任凯;邓武;俞琰;;基于大数据技术的网络日志分析系统研究[J];现代电子技术;2016年02期

6 王相伟;史玉良;张建林;梁波;程翠萍;;基于Hadoop的用电信息大数据计算服务及应用[J];电网技术;2015年11期

7 付生;;基于网络日志挖掘技术数据信息分析的研究[J];科技与创新;2015年06期

8 宋杰;刘雪冰;朱志良;李甜甜;赵大哲;于戈;;一种能效优化的MapReduce资源比模型[J];计算机学报;2015年01期

9 杨锋英;刘会超;;基于Hadoop的在线网络日志分析系统研究[J];计算机应用与软件;2014年08期

10 邓宾;;网络安全日志数据分析系统的探究[J];电子测试;2014年03期

相关硕士学位论文 前10条

1 周亮彪;IT运维大数据平台日志分析系统研究[D];中南林业科技大学;2016年

2 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年

3 陈超;基于分布式计算的海量日志数据分析平台的设计与实现[D];北京邮电大学;2015年

4 付伟;基于Hadoop的Web日志的分析平台的设计与实现[D];北京邮电大学;2015年

5 谢树铭;基于大数据处理技术Hadoop的论坛日志分析[D];江西农业大学;2014年

6 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年

7 章伟星;基于Hadoop的海量广告日志分析系统的设计与实现[D];哈尔滨工业大学;2013年

8 赵龙;基于hadoop的海量搜索日志分析平台的设计和实现[D];大连理工大学;2013年

9 胡钢;网络安全日志数据可视分析系统的研究与实现[D];北京邮电大学;2012年

10 王维铎;基于日志数据的网络舆情分析与研究[D];北京邮电大学;2011年



本文编号:2456758

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2456758.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户08e17***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com