基于刷卡记录的消费者行为大数据挖掘算法研究与应用

发布时间：2020-04-10 04:21

【摘要】：虽然移动支付得到快速地普及,但是刷卡支付依然有着重要的市场占有率,每时每刻都会产生大量的刷卡数据。面对海量的交易数据,普通的数据分析和自然语言处理算法无法完成数据挖掘的任务。针对消费者刷卡记录,本文就消费者行为特征、客户画像等两个方面进行了讨论,在重点研究了关联、聚类、自然语言分词和大数据技术后,提出了基于大数据技术的关联、聚类和自然语言分词算法,实现了算法在Hadoop集群下的分布式并行运算,同时将改进的算法应用于客户画像和消费者行为特征的挖掘。首先,大量的刷卡数据存储于Hadoop的分布式文件系统,含有空缺值的记录得以删除,在相关专家的指导下,从中筛选出有价值的关键字段。同时,采用DBSCAN算法来剔除其中的噪声数据,减小因异常数据而引起的误差。然后,将大数据下的MapReduce计算模型分别与Apriori、K均值和FCM算法进行结合,设计出相应的Map、Combine和Reduce函数,并通过多次提交进程来实现分布式的迭代运行,极大地提高了算法执行的效率。另外,在自然语言分词方面,将HanLP中文分词与MapReduce相结合,实现了中文分词的分布式并行运算。最后,本文将改进后的算法对预处理后的数据进行分析,分别挖掘出客户消费等级、常去地区、消费行为的关联性等,不仅丰富、完善了多维度的客户画像,而且能够帮助相关企业或商户制定决策、实现精准营销。本文利用Hadoop生态圈的相关技术设计出适用于刷卡记录的大数据挖掘算法。一方面,它不仅解决了海量数据的存储与计算的问题,而且弥补了普通算法在单机模式下的缺陷。另一方面,它也在实际应用中具有良好的可行性和高效性,这也为大数据环境下实现数据挖掘算法及自然语言分析的分布式并行运算提供了重要的参考和应用价值。
【图文】：

刷卡支付Fig.1-1Paymentbycreditcard

旅游消费发展的特点：旅游人群的年龄结构趋于年轻化；2017 至 2019期间，全国祈福景区的客流量持续高涨，如图 2-1 所示。因此，在人们活中，消费者可能在任何时候会对自己感兴趣的商品进行购买，不同的不同的消费需求，其购买行为也会各具特色。企业一直以来奉行“以客，以服务消费者的需求为己任”，促使消费者从自己的购买行为中得到
【学位授予单位】：青岛科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F713.55;TP311.13

【相似文献】

相关期刊论文 前10条

1 张珍;;云计算环境下的数据挖掘算法探究[J];网络安全技术与应用;2019年05期

2 刘小燕;;数据挖掘算法基于关联规则的分析和应用[J];课程教育研究;2017年11期

3 黄武锋;;一种基于神经网络的数据挖掘算法[J];电脑编程技巧与维护;2017年03期

4 张容;张勇;;基于数据挖掘算法的电子图书馆智能推荐技术研究[J];西南师范大学学报(自然科学版);2017年07期

5 赵慧;王晓燕;;基于云计算的海量数据挖掘算法[J];产业与科技论坛;2015年16期

6 曹安林;;基于数据挖掘算法的创客校园质量管理模型研究[J];现代职业教育;2017年10期

7 王晓艳;;数据挖掘算法的分析探讨[J];硅谷;2014年02期

8 黄取治;;动态云模型大规模数据挖掘算法[J];长春工业大学学报(自然科学版);2014年03期

9 张慧霞;;常用数据挖掘算法的分析对比[J];河南科技;2014年19期

10 李珩;武雪芳;;基于云计算的数据挖掘算法研究[J];无线互联科技;2013年12期

相关会议论文 前10条

1 任珂;牟冬梅;;四种典型数据挖掘算法在疾病防治中的研究现状分析[A];中华医学会第二十一次全国医学信息学术会议论文汇编[C];2015年

2 刘玲;张兴会;;基于神经网络的数据挖掘算法研究[A];全国第二届信号处理与应用学术会议专刊[C];2008年

3 盛立;刘希玉;高明;;基于粗糙集理论的数据挖掘算法研究[A];山东省计算机学会2005年信息技术与信息化研讨会论文集（二）[C];2005年

4 贺炜;邢春晓;潘泉;;因果不完备条件下的数据挖掘算法[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

5 陈曦;曾凡锋;;数据挖掘算法在风险评估中的应用[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（上册）[C];2007年

6 陈正展;;基于决策树的隐私保护数据挖掘算法[A];第六届全国信号和智能信息处理与应用学术会议论文集[C];2012年

7 魏顺平;;教育数据挖掘:现状与趋势[A];信息化、工业化融合与服务创新——第十三届计算机模拟与信息技术学术会议论文集[C];2011年

8 潘国林;杨帆;;数据挖掘算法在保险客户分析中的应用[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

9 杨利军;勾学荣;;数据挖掘在移动客户流失预测中的研究和应用[A];2008年中国高校通信类院系学术研讨会论文集（上册）[C];2009年

10 段成永;邱少明;卢刚;刘焱;;基于Map/Reduce模型的空情数据挖掘算法[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

相关重要报纸文章 前4条

1 ;选择合适的数据挖掘算法[N];计算机世界;2007年

2 本报记者 吴玉征;Sybase加速“大数据”分析[N];计算机世界;2012年

3 本报记者 李建发;从IT到DT：能源大数据带来新价值[N];中国电力报;2016年

4 吴朱华;大数据从“小”做起[N];网络世界;2012年

相关博士学位论文 前10条

1 张静;基于粗糙集理论的数据挖掘算法研究[D];西北工业大学;2006年

2 吴珏;隐私保护的数据挖掘算法研究[D];西南石油大学;2012年

3 吴国清;科学计算时变数据集的数据挖掘算法研究[D];中国工程物理研究院;2009年

4 梁瑾;模糊粗糙单调数据挖掘算法及在污水处理中应用研究[D];华南理工大学;2011年

5 沈悦;基于导航通信多模应用的位置服务技术研究[D];中国科学技术大学;2012年

6 李秋虹;基于MapReduce的大规模数据挖掘技术研究[D];复旦大学;2013年

7 巩建光;面向电信领域的数据挖掘关键技术研究[D];哈尔滨工程大学;2012年

8 陈云开;基于粗糙集和聚类的数据挖掘算法及其在反洗钱中的应用研究[D];华中科技大学;2007年

9 鲁万;数据挖掘环境中隐私保护数据共享混合方法研究[D];大连海事大学;2013年

10 范广玲;基于数据挖掘的潜油电泵系统运行评价研究[D];东北石油大学;2015年

相关硕士学位论文 前10条

1 高尚飞;基于刷卡记录的消费者行为大数据挖掘算法研究与应用[D];青岛科技大学;2019年

2 郑江帆;基于GPU的数据挖掘算法并行化研究[D];浙江工业大学;2018年

3 吕丹;一类数据挖掘算法及其在宫颈癌智能诊断中的应用[D];长春工业大学;2019年

4 许伟;基于遥感影像与C5.0数据挖掘算法的土壤制图研究[D];华中农业大学;2018年

5 卢媛媛;大数据平台下的数据挖掘算法设计与实现[D];中国石油大学（北京）;2017年

6 郭闻博;某型预警机雷达情报分析的数据挖掘算法研究[D];武汉理工大学;2016年

7 郭娟娟;基于加权k近邻的离群数据挖掘算法及并行化[D];太原科技大学;2018年

8 耿美玲;基于关联规则的数据挖掘算法的研究[D];东北大学;2015年

9 李玉廷;基于两种数据挖掘算法的股骨颈预后评分分类[D];太原理工大学;2017年

10 杨利锋;基于低秩稀疏子空间的数据挖掘算法研究[D];广西师范大学;2017年

，

本文编号：2621742