移动互联网阅读业务用户行为分析系统的设计与实现

发布时间：2017-04-03 13:07

  本文关键词：移动互联网阅读业务用户行为分析系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：随着移动互联网技术以及新型业务的飞速发展,网络数据量呈现爆炸式增长。这使得各大运营商的传统业务受到很大的冲击,也给ISP(Internet Service Provider,互联网服务提供商)的管理工作带来巨大压力。在这种情况下,电信运营商提出“智能管道”的新要求,迫切需求分析用户的群体构成及其偏好,向用户提供更具个性化的服务。如何获取移动互联网用户行为特征信息,对于运营商与ISP来说具有非常重要的意义。本文在传统的监测系统的基础上,以移动阅读为切入点,重点研究了移动互联网用户行为特征的精确识别与监测,实现一套基于DPI(Deep Packet Inspection,深度包检测)技术的移动互联网用户行为分析系统。本文主要工作内容有以下几点:第一、通过研究国内外用户行为分析现状,提出一套针对移动阅读业务的用户行为分析系统的设计思路和实现方法,对ISP与运营商分析用户行为特征具有参考意义;第二、通过研究Hadoop分布式系统框架与主题爬虫技术,实现了基于Hadoop的分布式主题爬虫,并利用分布式主题爬虫访问互联网各大阅读网站,获取互联网阅读作品详细信息;第三、采用DPI技术对移动互联网业务进行识别,并且为满足不同识别需求,将业务识别划分为实时DPI业务识别和Senior DPI业务识别两个功能模块,其中实时DPI业务识别主要负责识别业务类型与流量统计,Senior DPI业务识别主要负责识别业务的详细信息,如作品名称、作品类型、作者等信息;第四、根据不同的专题应用,对相应指标的数据进行统计分析,并结合标准差离法与H-Index算法,对移动阅读用户偏好程度进行分析,从海量的用户数据中挖掘移动互联网用户的阅读习惯与偏好。本文将采集的现网数据作为实验数据,对系统的功能与性能进行验证,并展示几种专题应用分析场景。该系统能对海量用户数据进行业务识别,并通过用户偏好程度分析算法获取用户的阅读行为特征,对各个ISP与电信运营商制定相应的营销策略具有参考价值。
【关键词】：用户行为 移动阅读 深度包检测 主题爬虫 业务识别
【学位授予单位】：重庆邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN929.5;TP393.0
【目录】：

• 摘要3-4
• Abstract4-11
• 注释表11-12
• 第1章 绪论12-17
• 1.1 研究背景及意义12-13
• 1.2 国内外研究现状13-15
• 1.3 课题来源及研究内容15
• 1.4 论文组织与结构15-17
• 第2章 相关理论基础17-25
• 2.1 移动互联网概述17-18
• 2.2 深度包检测技术18-19
• 2.3 主题爬虫技术19-21
• 2.4 Hadoop分布式系统框架21-24
• 2.4.1 Hadoop分布式文件系统22-23
• 2.4.2 MapReduce分布式计算模型23-24
• 2.5 本章小结24-25
• 第3章 用户行为分析系统总体设计25-38
• 3.1 系统需求分析25-26
• 3.1.1 系统功能需求25
• 3.1.2 系统性能需求25-26
• 3.2 系统总体架构设计26-27
• 3.3 协议解析模块设计27-28
• 3.4 主题爬虫模块设计28-32
• 3.4.1 主题爬虫模块整体需求28-29
• 3.4.2 主题爬虫架构29-30
• 3.4.3 分布式主题爬虫的Map/Reduce设计30-32
• 3.5 业务识别模块设计32-37
• 3.5.1 业务识别模块需求分析32-33
• 3.5.2 业务识别方案设计33-34
• 3.5.3 业务特征库设计34-37
• 3.6 本章小结37-38
• 第4章 用户行为分析系统的实现38-55
• 4.1 协议解析模块实现38-39
• 4.2 爬虫模块实现39-44
• 4.2.1 存储结构的定义39-40
• 4.2.2 主题爬虫的实现40-44
• 4.3 业务识别模块实现44-54
• 4.3.1 业务特征分析归类44-46
• 4.3.2 实时DPI模块实现46-51
• 4.3.3 Senior DPI业务识别的实现51-54
• 4.4 本章小结54-55
• 第5章 系统环境搭建与结果分析55-72
• 5.1 搭建Hadoop分布式系统环境55-58
• 5.2 用户行为专题分析58-70
• 5.2.1 市场份额占比分析59-60
• 5.2.2 热点作品TopN分析60-62
• 5.2.3 用户偏好分析62-70
• 5.3 本章小结70-72
• 第6章 总结与展望72-74
• 6.1 全文工作总结72
• 6.2 后续工作展望72-74
• 参考文献74-78
• 致谢78-79
• 攻读硕士学位期间从事的科研工作及取得的成果79

【参考文献】

中国期刊全文数据库 前9条

1 刘亚秋;李海涛;景维鹏;;基于Hadoop的海量嘈杂数据决策树算法的实现[J];计算机应用;2015年04期

2 龚宏程;方晓明;龚宏锐;;移动互联网现状和发展趋势浅析[J];江西通信科技;2014年04期

3 刘俊杉;田丹;林琳;;移动互联网时代计费系统的变革[J];通信管理与技术;2014年04期

4 梅华威;米增强;吴广磊;;基于MapReduce模型的间歇性能源海量数据处理技术[J];电力系统自动化;2014年15期

5 张学亮;陈金勇;陈勇;;基于Hadoop云计算平台的海量文本处理研究[J];无线电通信技术;2014年01期

6 吴斌;刘心光;;一种基于改进的链式MapReduce的并行ETL应用[J];电信科学;2013年12期

7 刘山;李宪彬;;运营商移动互联网业务发展分析[J];信息通信技术;2011年04期

8 张晶;黄京华;陈俊全;;Empirical Research on User Acceptance of Mobile Searches[J];Tsinghua Science and Technology;2010年02期

9 韩宇;黄青松;;基于改进PageRank的情报主题相关度预测策略[J];微型电脑应用;2010年03期

  本文关键词：移动互联网阅读业务用户行为分析系统的设计与实现，由笔耕文化传播整理发布。

，

本文编号：284355