基于运营商大数据的互联网海量用户行为分析系统设计与实现

发布时间：2017-06-18 20:14

  本文关键词：基于运营商大数据的互联网海量用户行为分析系统设计与实现，由笔耕文化传播整理发布。

【摘要】：在移动互联网时代,缺乏互联网运营经验、对终端掌控力度不足、业务创新能力落后、缺乏标准开发能力以及资源使用与管理运营支撑效率低已经成为了制约电信运营商销售及利润增长的主要因素。面临移动互联网带来的庞大的数据挑战,“流量经营”和“去电信化”等运营商转型思路将为运营商的重新打开转型之门,由此电信运营商的转型之路必须要围绕海量数据所带来的商机作深度挖掘和分析。在网络时代,运营商拥有着庞大的基础网络,是大部分数据的传输与交换中心。同时,运营商自身的网络管道,业务平台、支撑系统中每天也在产生大量与用户有关的有价值数据,这些海量数据将远远超过一般互联网公司所拥有的数据量,相关数据的质量和涵盖范围更是互联网公司所无法比拟的。因此,运营商拥有的是更加名副其实的大数据,如果将这些数据加以应用,必将为运营商带来巨大的商业价值。由于相关支撑手段的欠缺,无法对用户行为进行有效的监控和分析,用户流量的不透明、监管力度不够等难题对整个运营商业务管理提出了严峻的挑战。本文首先分析了目前网络探针数据监测与采集技术,根据运营商网络特点提出了针对运营商网络最优探针部署方式。其次针对采集获得的海量数据,采用开源大数据Hadoop分析存储技术进行分析、识别、清洗/统计分析。本文中设计的基于运营商大数据的互联网海量用户行为分析系统,立足于电信运营商强大的网络及用户资源,通过业务识别、DPI、内容感知、模式匹配、机器学习等技术深入挖掘用户流量价值,全方位提取用户信息,包括接入终端信息、上网行为偏好等。通过对此类信息进行行为建模、深度挖掘和知识发现,洞悉用户的行为偏好,尤其是塑造“家庭画像”,找出用户使用业务的“痛点”,从而为运营商找到支撑营销的最佳切入点,充分利用海量的用户流量价值,提升精准营销能力。论文对电信运营商网络进行了深入的研究,并深入分析了现有数据采集、大数据分析存储技术的优劣,综合各方特点,引申出针对运营商网络的解决方案,很好的构建了一个用户行为分析及网络服务质量体系。同时,作者结合实践经验和现网案例,设计了家庭画像数据分析存储系统,支撑运营商应用系统需求及市场营销需求。本论文的成果设计合理,架构清晰,同时可以扩展到其他互联网网络应用中。
【关键词】：探针数据采集 协议分析 流量清洗 家庭画像
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要4-5
• Abstract5-8
• 专用术语注释表8-10
• 第一章 绪论10-20
• 1.1 国内外ICT行业在大数据领域背景10-11
• 1.1.1 国外ICT行业在大数据背景下的发展10-11
• 1.1.2 国内ICT行业在大数据背景下的发展11
• 1.2 国内政策11-12
• 1.3 行业标准12-13
• 1.4 三大运营商在大数据分析领域布局及已有技术应用成果13-16
• 1.4.1 中国移动13-14
• 1.4.2 中国联通14-15
• 1.4.3 中国电信15-16
• 1.5 运营商在大数据领域的具体需求和发展方向16-18
• 1.6 本次课题任务18
• 1.6.1 本次课题内容18
• 1.6.2 本人承担任务18
• 1.7 论文结构18-20
• 第二章 相关背景知识介绍20-28
• 2.1 基于探针方式的数据采集与业务监测20-23
• 2.1.1 探针Probe业务框架20-22
• 2.1.2 探针的网络部署方式22-23
• 2.2 基于Hapdoop的大数据存储及分析23-27
• 2.2.1 分布式文件系统HDFS24-26
• 2.2.2 并行计算MapReduce26-27
• 2.3 本章小结27-28
• 第三章 运营商大数据需求分析28-32
• 3.1 电信运营商面临的挑战28-29
• 3.2 大数据在电信运营商的应用前景29-30
• 3.2.1 市场经营29
• 3.2.2 网络质量29-30
• 3.2.3 企业经营管理30
• 3.2.4 业务创新30
• 3.3 基于大数据分析的用户行为分析系统建设需求30
• 3.4 基于大数据分析的用户行为分析系统建设目标30-31
• 3.5 本章小结31-32
• 第四章 系统概要设计32-42
• 4.1 业务场景分析32-34
• 4.1.1 场景介绍32-33
• 4.1.2 系统设计实现内容33
• 4.1.3“家庭画像”实现内容33-34
• 4.2 软件系统设计34-37
• 4.2.1 系统整体框架34-36
• 4.2.2 软件流程图36-37
• 4.3 系统架构及部署37-38
• 4.3.1 系统硬件架构部署37-38
• 4.3.2 系统软件流程38
• 4.4 子系统设计38-41
• 4.4.1 分组数据采集子系统设计38-39
• 4.4.2 TCP/IP协议分析子系统39
• 4.4.3 家庭画像子系统39-40
• 4.4.4 数据库子系统40-41
• 4.4.5 数据分析报表子系统41
• 4.5 本章小结41-42
• 第五章 系统详细设计42-71
• 5.1 系统处理流程42-46
• 5.1.1 系统初始化流程43
• 5.1.2 核心算法与系统实现43-46
• 5.1.3 数据结构与主要函数46
• 5.2 分组数据采集子系统详细设计46-48
• 5.2.1 系统流程与实现46-47
• 5.2.2 数据结构及主要函数47-48
• 5.3 TCP/IP协议分析子系统详细设计48-50
• 5.3.1 系统流程及实现48-49
• 5.3.2 核心算法49-50
• 5.4 家庭画像子系统详细设计50-51
• 5.5 数据库子系统详细设计51-55
• 5.5.1 数据字典设计51-53
• 5.5.2 部分SQL脚本53-55
• 5.6 基于运营商大数据的互联网海量用户行为分析系统实现结果55-69
• 5.6.1 网络业务流量分析55-63
• 5.6.2 业务质量分析63-64
• 5.6.3 业务流向分析64-67
• 5.6.4 一拖N监测67
• 5.6.5 系统报表输出67-69
• 5.7 本章小结69-71
• 第六章 总结与展望71-72
• 参考文献72-74
• 致谢74

【相似文献】

中国期刊全文数据库 前10条

1 马维亮;;用户行为分析系统在宽带网络中的应用[J];科技信息(科学教研);2008年23期

2 乔志伟;;基于用户行为的3G业务分析与探讨[J];移动通信;2010年12期

3 龚尚福;姜晓旭;;基于用户行为分析的广告欺诈点击检测[J];计算机应用与软件;2011年04期

4 陶彩霞;谢晓军;陈康;郭利荣;刘春;;基于云计算的移动互联网大数据用户行为分析引擎设计[J];电信科学;2013年03期

5 毛承洁;张龙;庞川;陈洁敏;;社会网络服务及其用户行为分析[J];华南师范大学学报(自然科学版);2013年02期

6 雒江涛;胡燕清;徐孝娜;周进艳;;基于CDMA2000 1x EVDO网络的用户行为分析模型设计[J];电视技术;2013年07期

7 许春玲;范志刚;郑小盈;李明齐;;有线电视用户行为分析实践[J];网络新媒体技术;2014年01期

8 李朝阳;谢传中;;一种移动互联网用户行为分析系统的顶层设计[J];江西通信科技;2014年01期

9 刘英梅;;大数据时代的信息用户行为分析[J];科技情报开发与经济;2014年05期

10 陆群峰;;宽带上网用户行为分析[J];有线电视技术;2006年02期

中国重要会议论文全文数据库 前7条

1 赵勇;;移动互联网用户行为分析系统技术架构浅析[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

2 冯铭;王保进;蔡建宇;;基于云计算的可重构移动互联网用户行为分析系统的设计[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

3 岑荣伟;刘奕群;张敏;茹立云;马少平;;网络搜索引擎用户行为分析和研究[A];第五届全国信息检索学术会议论文集[C];2009年

4 赵艳梅;朱晓燕;;转变运维模式,迎接移动互联网新挑战[A];中国通信学会信息通信网络技术委员会2011年年会论文集（上册）[C];2011年

5 刘奕群;张敏;马少平;;用户行为分析在网络信息检索中的应用概述[A];全国第八届计算语言学联合学术会议（JSCL-2005）论文集[C];2005年

6 毛翔博;齐观德;李石坚;潘纲;;基于位置轨迹加权网络图的用户行为分析识别算法[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

7 尔古打机;苏小龙;朱征;;基于用户行为分析的移动终端偏好模型研究[A];第八届（2013）中国管理学年会——商务智能分会场论文集[C];2013年

中国重要报纸全文数据库 前3条

1 谭景华邋杨国良;IP网络用户行为分析方法的探讨[N];人民邮电;2007年

2 本报记者 逄丹;建设用户行为分析智慧模型[N];通信产业报;2010年

3 李中朝邋通讯员 黄伟;重庆电信建成宽带用户行为分析系统[N];人民邮电;2007年

中国博士学位论文全文数据库 前6条

1 王琪;新媒体系统中用户行为分析与系统设计[D];复旦大学;2014年

2 罗海艳;移动用户网络行为分析与预测方法研究[D];沈阳农业大学;2015年

3 刘鹏;网络用户行为分析的若干问题研究[D];北京邮电大学;2010年

4 延皓;基于流量监测的网络用户行为分析[D];北京邮电大学;2011年

5 窦伊男;根据多维特征的网络用户分类研究[D];北京邮电大学;2010年

6 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

中国硕士学位论文全文数据库 前10条

1 江惠彬;基于Web日志的用户行为分析系统的研究与实现[D];华南理工大学;2015年

2 李亚飞;基于用户行为分析的冰箱设计研究[D];山东大学;2015年

3 石钊;基于网络用户行为分析的用户推荐反馈系统的设计[D];北京化工大学;2015年

4 李婷蔚;基于移动校园应用的用户行为分析及性能改进[D];电子科技大学;2014年

5 王颖颖;基于Hadoop的用户行为分析系统的设计与实现[D];北京工业大学;2015年

6 马仕玉;聚类算法及其在校园网用户行为分析中的应用[D];重庆交通大学;2015年

7 徐娟;基于用户行为分析的核能领域垂直检索系统研究[D];合肥工业大学;2015年

8 陈嘉翼;基于小波聚类的网络用户行为分析研究[D];重庆大学;2015年

9 胡晓祥;基于飞天云平台的海量网络用户行为分析技术研究[D];南京大学;2014年

10 汪传章;基于博弈论的云用户行为分析预测模型研究与分析[D];东华理工大学;2016年

  本文关键词：基于运营商大数据的互联网海量用户行为分析系统设计与实现，由笔耕文化传播整理发布。

，

本文编号：460734