基于企业营业日志的大数据分析与辅助决策研究

发布时间：2019-04-14 20:27

【摘要】：随着传统行业中的企业日志数据急剧增加,企业挖掘日志价值的需求也日益增长。传统的日志处理技术在日志的收集、分析、存储环节面临越来越多的困难,无法满足对海量日志的灵活收集、快速读写以及多维分析等需求,也无法有效地为企业的营销活动进行辅助决策。企业需要借助更为先进的技术和方法进行日志大数据分析与营销辅助决策,从而提升市场竞争力。本文针对目前企业日志分析系统的现状和不足,基于大型连锁购物中心营业日志处理的应用场景,从日志处理的不同环节和模块入手,进行了营业日志大数据分析关键技术的研究,分析对比了在该应用场景下不同技术方案的优劣情况。从客户人群消费类别、商场实时交易数量、特殊日期交易情况三个角度提出了不同的企业市场细分营销辅助决策算法原理和具体流程。设计并实现了一个全流程一体化的分布式营业日志大数据分析系统。该系统包含了基于开源日志服务技术Flume实现的日志收集模块;基于消息队列技术Kafka、分布式计算框架Spark、数据库中间件技术Phoenix实现的日志分析模块;利用HBase作为数据存储并通过Phoenix进行接口转换的日志存储模块。该系统可满足企业对日志数据灵活高效收集的需求,进行实时分析、离线分析、联机分析的需求,高速存取数据并且接口统的需求,可从多个角度为企业市场细分营销进行辅助决策。利用实验数据,本文测试并对比了该系统与其他技术在不同数据规模下的日志处理性能,基于该系统的离线分析模块、实时分析模块、联机分析模块,从三个方面完成了企业营业日志大数据分析与企业市场细分营销的辅助决策实验,验证了系统和算法流程的正确有效,证明了其实际的应用价值。
[Abstract]:......
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：F274;TP311.13

【参考文献】

相关期刊论文 前8条

1 张川;邓珍荣;邓星;黄文明;;基于Chukwa的大规模日志智能监测收集方法[J];计算机工程与设计;2014年09期

2 廖晓辉;;Presto实现解析[J];程序员;2014年02期

3 姚仁捷;;Kafka在唯品会的应用实践[J];程序员;2014年01期

4 申德荣;于戈;王习特;聂铁铮;寇月;;支持大数据管理的NoSQL系统研究综述[J];软件学报;2013年08期

5 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

6 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期

7 吴勇毅;;深度数据挖掘——企业信息化成功的主轴[J];信息与电脑;2009年05期

8 杨善林;李永森;胡笑旋;潘若愚;;K-MEANS算法中的K值优化问题研究[J];系统工程理论与实践;2006年02期

相关硕士学位论文 前4条

1 陈含;基于Hadoop的海量数据存储和计算平台的设计与实现[D];武汉理工大学;2014年

2 魏彬;基于分布式日志系统的数据云服务平台设计与实现[D];浙江大学;2013年

3 孙寅林;基于分布式计算平台的海量日志分析系统的设计与实现[D];西安电子科技大学;2012年

4 王宏斌;消息中间件技术的研究和实践[D];浙江大学;2004年

，

本文编号：2458094