基于Storm的实时用户日志管理系统

发布时间：2018-11-03 16:08

【摘要】：研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功能。以某城市监狱管理系统的用户日志信息为实验数据,系统取得了良好的实验效果。为同时处理海量数据和实时响应用户请求的系统提供了可行性解决方案。
[Abstract]:This paper studies and develops big data user log management and analysis platform with real-time response. Storm flow computing framework is used to complete the real-time processing platform architecture of user log analysis; Elastic Search is used as a real-time search engine to complete real-time response processing; Flume,Kafka technology is used to complete mass log collection aggregation and transmission functions. Taking the user log information of a city prison management system as experimental data, the system has achieved good experimental results. It provides a feasible solution for the system which simultaneously processes the massive data and responds to the user's request in real time.
【作者单位】： 湖北工业大学计算机学院;湖北泰信科技信息发展有限责任公司;
【基金】：2013年国家大学生创新项目(201410500010)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前2条

1 熊忠阳;向海燕;张玉芳;;结合用户日志的局部上下文分析方法[J];计算机工程与应用;2012年12期

2 ;[J];;年期

相关会议论文 前1条

1 吴京慧;余珊珊;王明文;;基于用户日志聚类的查询扩展模型[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

相关硕士学位论文 前1条

1 薛士俊;英语学习的需求研究与产品原型设计[D];大连海事大学;2008年

，

本文编号：2308272