基于Hadoop大数据平台的网站日志解析系统的设计和实现

发布时间：2021-01-27 03:45

　　随着信息智能化技术的普及,企业网站由传统的企业宣传逐渐集成了电子商务、企业管理等功能,已成为重要的生产工具。企业网站在内容管理方面,采用大数据技术发现新的商业模式和用户画像,为企业带来了丰厚的利润;相对于网站内容管理,日志管理相对滞后,当前通常借助全文检索工具或者人工检索的方式进行管理,存在以下缺点:一是解析不全面无法及时反馈动态信息;二是日志解析偏向于网站故障定位,网站优化和信息安全数据解析薄弱;三是无法应对海量日志及时解析和结果实时查询;四是可视化模块个性化和二次开发困难。针对当前日志管理存在的问题,本文设计和开发基于Hadoop平台的网站日志解析系统,其中Hadoop平台提供了 PB数量级日志数据的离线计算和实时查询能力;应用系统采用主流JavaEE平台进行设计开发,扩展和维护更加容易;同时提供了基于HTML5的Web应用功能,方便解析日志和对结果进行分析计算;在数据呈现方面,采用HTML5的Canvas绘图技术,为解析结果提供了灵活的个性化定制和二次开发解决方案。该系统能够全面解析网站日志,提供更多维度的参考信息,为企业网站的优化、信息安全以及网站维护提供完整的参考数据。本文主... 

【文章来源】：厦门大学福建省 211工程院校 985工程院校 教育部直属院校

【文章页数】：103 页

【学位级别】：硕士

【部分图文】：

图２－２?ＭａｐＲｅｄｕｃｅ与ＨＢａｓｅ集成架构图??

４）系统管理员??管理员登陆系统进入系统后台，可以查看用户信息列表，对用户是否允许登??陆系统上传网站日志文件进行授权。用例图如图３－６所示。??图３－６系统管理员用例图??３．２．２功能需求分析??网站日志解析系统应用程序由后台和前台构成。前台向游客和注册用户提供??登陆、注册、日志文件上传、日志文件解析、生成可视化数据图表等系统服务；??后台向管理员提供用户启用、禁用、密码重置等管理服务。系统功能模块如图??３－７所示。??……＂—？？？１??网站日志解析系统??ｒ?１??夢?后??°?！台??功?丨功??能?丨能??１??Ｔ?Ｔ?Ｔ?＿ｉｒ?４＊?ｖ?ｉｒ?”??＇％

分布式计算和分布式存储的规模较小，因此把Ｈａｄｏｏｐ和ＨＢａｓｅ的主节点也配置??在同一台主机上。此外，Ｈａｄｏｏｐ集群一共需要最少三台主机，因此还需要配置??两台主机作为Ｈａｄｏｏｐ集群的从节点。系统的架构如图３－８所示。??０?ｎ?Ｄ?＇??－４—?ｒ—Ｊ?请求?？?Ｍ?Ｈａｄｏｏｐ集群从节点＾??／＿?／?，?？?ＨＢａｓｅ集群从节点ｊ??Ａ?客户端浏览器?￣ｙ?＼?＾￣｜?／??／?＼?应用服务器?、＼?ｍ??／?＼?数据库服务器?＇圍，??Ｈａｄｏｏｐ集群主节点??脱集群主节点批〇〇（＾从节点??ＨＢａｓｅ集群从节点??图３－８网站日志解析系统架构图??由于应用服务器、数据库服务器、Ｈａｄｏｏｐ集群主节点、ＨＢａｓｅ集群主节点??是在同一台服务器上实现，因此在实际项目的集群配置中，采用高配置的服务器??作为主节点。??ＭＶＣ的全称是Ｍｏｄｅｌ?Ｖｉｅｗ?Ｃｏｎｔｒｏｌｌｅｒ，是Ｗｅｂ应用程序的典型设计模式，??ＭＶＣ的思想是将模型、视图、控制器的代码分开来组织，最大的优点是在调整??２６??


本文编号：3002362