校园无线网络日志大数据分析平台的研究与实现
[Abstract]:With the rapid development of information technology today, the amount of network log data generated through the Internet also increases rapidly. Nowadays, web log has become a typical representative of mass data. In the face of massive network logs, the traditional single node analysis method has become weak or even unable to deal with. How to deal with these huge amounts of data and make use of them is a problem we face. In this paper, the background and significance of Hadoop are studied, the popular big data technology is deeply studied and studied, and the big data technology is combined with the analysis of campus wireless network log. Firstly, the Flume technology is used to collect the log file data, the distributed file system (HDFS) is used to store the collected log data file, and then the MapReduce technology is used to clean and process the collected data. Then we use Hive tool to analyze the data and import the results into relational database such as MySQL. Finally, the analysis results are displayed through the web interface. Through the above technology, this paper establishes a campus network log analysis platform based on Hadoop. The purpose of this paper is to collect and analyze the data in the campus web log through big data analysis platform, hoping to bring some help to the management of the school.
【学位授予单位】:内蒙古农业大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13
【参考文献】
相关期刊论文 前10条
1 周平;马斌;韩冰;苏宇晨;;基于大数据平台的日志分析预警技术研究[J];电脑知识与技术;2016年32期
2 何雅琴;李涛;;网络访问日志实时分析系统在Storm平台上的实现[J];信息化研究;2016年04期
3 潘威华;;跨平台网络设备日志整理与分析系统研究[J];江苏科技信息;2016年05期
4 詹义;方媛;;基于Spark技术的网络大数据分析平台搭建与应用[J];互联网天地;2016年02期
5 任凯;邓武;俞琰;;基于大数据技术的网络日志分析系统研究[J];现代电子技术;2016年02期
6 王相伟;史玉良;张建林;梁波;程翠萍;;基于Hadoop的用电信息大数据计算服务及应用[J];电网技术;2015年11期
7 付生;;基于网络日志挖掘技术数据信息分析的研究[J];科技与创新;2015年06期
8 宋杰;刘雪冰;朱志良;李甜甜;赵大哲;于戈;;一种能效优化的MapReduce资源比模型[J];计算机学报;2015年01期
9 杨锋英;刘会超;;基于Hadoop的在线网络日志分析系统研究[J];计算机应用与软件;2014年08期
10 邓宾;;网络安全日志数据分析系统的探究[J];电子测试;2014年03期
相关硕士学位论文 前10条
1 周亮彪;IT运维大数据平台日志分析系统研究[D];中南林业科技大学;2016年
2 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年
3 陈超;基于分布式计算的海量日志数据分析平台的设计与实现[D];北京邮电大学;2015年
4 付伟;基于Hadoop的Web日志的分析平台的设计与实现[D];北京邮电大学;2015年
5 谢树铭;基于大数据处理技术Hadoop的论坛日志分析[D];江西农业大学;2014年
6 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年
7 章伟星;基于Hadoop的海量广告日志分析系统的设计与实现[D];哈尔滨工业大学;2013年
8 赵龙;基于hadoop的海量搜索日志分析平台的设计和实现[D];大连理工大学;2013年
9 胡钢;网络安全日志数据可视分析系统的研究与实现[D];北京邮电大学;2012年
10 王维铎;基于日志数据的网络舆情分析与研究[D];北京邮电大学;2011年
,本文编号:2456758
本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2456758.html