基于蜂窝网络数据业务的时空分析与用户兴趣挖掘
发布时间：2020-12-13 10:28
随着3G、4G网络的普及,移动互联网得到了快速发展,同时伴随着移动终端市场的成熟和智能终端的推陈出新,蜂窝网络的用户规模也不断扩大,蜂窝网络数据业务成为了人们的重要研究对象。随着蜂窝网络数据流量的与日俱增,如何利用大数据技术分析研究海量蜂窝网络数据已经成为了当今的研究热点。对海量的蜂窝网络数据进行分析与研究,一方面将有效地促进现有蜂窝网络建设的规划,从业务角度来提升网络的性能;另一方面,通过蜂窝网络数据挖掘出隐含的、有用的信息,已经成了商业、工程领域的迫切需求。本文通过搭建蜂窝网络大数据平台,对蜂窝网络业务数据进行研究。对大尺度下的城市快照时空模式进行了分析,同时在小尺度上挖掘用户的搜索兴趣。论文主要工作包括:一、基于现有的Hadoop、Spark等大数据技术,并结合蜂窝网络数据业务的处理需求,搭建了一套用于蜂窝网络数据分析的大数据分析处理平台。然后详细阐述了该平台下的数据采集模块、数据存储模块、数据处理模块、数据展示模块4个核心模块和其中的关键技术。最后,描述了本文使用的大数据系统中遇到的关键问题以及解决方法。二、基于即时通信业务流量,提出了一种城市的业务快照模式的分析研究方法。首先...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
图２－１?Ｈａｄｏｏｐ?２．０平台架构??１．?ＨＤＦＳ??
才会运行相应的转换操作。??ＲＤＤ数据集支持分区，即多个数据区块可以存放在不同的区域，不同分区??之间可以相互依赖，形成的依赖关系包括窄依赖与宽依赖［２３１。如图２－２所示，窄??依赖是一对一或者多对一的简单映射关系，而宽依赖是多对多的复杂映射关系，??关系图如图２－２所示。ＲＤＤ的相应操作会使ＲＤＤ间产生不同的依赖关系，例如??ｍａｐ和ｕｎｉｏｎ属于窄依赖操作，而ｊｏｉｎ是宽依赖操作。??９??
均为ＣｅｎｔＯＳ?７．０；?ＪＤＫ环境为ＪＤＫ?８；?Ｈａｄｏｏｐ使用的版本为ＣＤＨ５．７．０，集群平??均数据处理能力为１０ＴＢ。??集群的部分服务器与节点关系结构如图２－３所示。??？：：丨Ｌ?Ｈａｄｏｏｐ集群环境??ｉ?Ｂｃｌｉｅｎｔ?ｌｌｓｗｉｔｃｈ?Ｉ??ｉｗ！?ｉ?：ｉ．?：?’??Ｌ：???图２－３?Ｈａｄｏｏｐ集群环境图??２．３．２平台架构??峰窝网络大数椐平台按照对数椐的处埋；石求来划分，｜｜丨以划分为数据采集模??块、数据存储模块、数据分析模块和数据展小模块这４部分，如阁２－４所示。每??一个模块的具体组成与职责在卜＞而详细介绍。??１．
【参考文献】：
期刊论文
[1]聚类有效性评价新指标[J]. 谢娟英,周颖,王明钊,姜炜亮. 智能系统学报. 2017(06)
[2]函数型数据聚类分析研究综述与展望[J]. 王德青,朱建平,刘晓葳,何凌云. 数理统计与管理. 2018(01)
[3]基于网页快照的网页预览技术研究[J]. 李为民,李俊颉. 电子世界. 2017(06)
[4]蜂窝无线网络大数据平台设计与分析研究[J]. 张鹏,黄豪洲,张兴. 邮电设计技术. 2016(08)
[5]一种基于Sqoop的数据交换系统[J]. 于金良,朱志祥,梁小江. 物联网技术. 2016(03)
[6]一种基于视觉特性的PSNR图像评价方法[J]. 丰明坤,赵生妹,邢超. 南京邮电大学学报(自然科学版). 2015(04)
[7]基于向量皮尔森相关系数的组合赋权法[J]. 张峰,谢振华,程江涛,崔高仑,徐衡博. 火力与指挥控制. 2015(05)
[8]基于Spark+MLlib分布式学习算法的研究[J]. 李彦广. 商洛学院学报. 2015(02)
[9]基于Shark/Spark的分布式空间数据分析框架[J]. 温馨,罗侃,陈荣国. 地球信息科学学报. 2015(04)
[10]大数据处理模型Apache Spark研究[J]. 黎文阳. 现代计算机(专业版). 2015(08)
博士论文
[1]下一代移动通信网络中的业务特征认知及服务机制研究[D]. 周轩.浙江大学 2015
[2]基于Hadoop的网络流量分析系统的研究与应用[D]. 乔媛媛.北京邮电大学 2014
硕士论文
[1]基于空间SSIM度量的ROI提取用于图像优化分类方法[D]. 杨赛舟.湘潭大学 2016
[2]基于代价模型的Spark SQL查询优化研究[D]. 刘春雷.电子科技大学 2016
[3]基于词向量的搜索词分类、聚类研究[D]. 杨河彬.华东师范大学 2015
[4]基于Hadoop的无线网络业务和用户挖掘平台的实现与应用[D]. 张士蒙.北京邮电大学 2015
[5]基于大数据的网络用户行为分析[D]. 任思颖.北京邮电大学 2015
[6]基于Hadoop技术的电信大数据分析平台的设计和实现[D]. 张国栋.上海交通大学 2014
[7]中文短文本主题分类方法研究[D]. 李洪图.西北大学 2014
[8]福建省城市竞争力评价研究[D]. 张蕾蕾.厦门大学 2014
[9]面向移动互联网的业务分析和资源优化系统实现[D]. 刘宗超.北京邮电大学 2014
[10]基于蜂窝网络业务空时分布规律的高能效服务机制研究[D]. 关磊.北京邮电大学 2014
本文编号：2914400
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
图２－１?Ｈａｄｏｏｐ?２．０平台架构??１．?ＨＤＦＳ??
才会运行相应的转换操作。??ＲＤＤ数据集支持分区，即多个数据区块可以存放在不同的区域，不同分区??之间可以相互依赖，形成的依赖关系包括窄依赖与宽依赖［２３１。如图２－２所示，窄??依赖是一对一或者多对一的简单映射关系，而宽依赖是多对多的复杂映射关系，??关系图如图２－２所示。ＲＤＤ的相应操作会使ＲＤＤ间产生不同的依赖关系，例如??ｍａｐ和ｕｎｉｏｎ属于窄依赖操作，而ｊｏｉｎ是宽依赖操作。??９??
均为ＣｅｎｔＯＳ?７．０；?ＪＤＫ环境为ＪＤＫ?８；?Ｈａｄｏｏｐ使用的版本为ＣＤＨ５．７．０，集群平??均数据处理能力为１０ＴＢ。??集群的部分服务器与节点关系结构如图２－３所示。??？：：丨Ｌ?Ｈａｄｏｏｐ集群环境??ｉ?Ｂｃｌｉｅｎｔ?ｌｌｓｗｉｔｃｈ?Ｉ??ｉｗ！?ｉ?：ｉ．?：?’??Ｌ：???图２－３?Ｈａｄｏｏｐ集群环境图??２．３．２平台架构??峰窝网络大数椐平台按照对数椐的处埋；石求来划分，｜｜丨以划分为数据采集模??块、数据存储模块、数据分析模块和数据展小模块这４部分，如阁２－４所示。每??一个模块的具体组成与职责在卜＞而详细介绍。??１．
【参考文献】：
期刊论文
[1]聚类有效性评价新指标[J]. 谢娟英,周颖,王明钊,姜炜亮. 智能系统学报. 2017(06)
[2]函数型数据聚类分析研究综述与展望[J]. 王德青,朱建平,刘晓葳,何凌云. 数理统计与管理. 2018(01)
[3]基于网页快照的网页预览技术研究[J]. 李为民,李俊颉. 电子世界. 2017(06)
[4]蜂窝无线网络大数据平台设计与分析研究[J]. 张鹏,黄豪洲,张兴. 邮电设计技术. 2016(08)
[5]一种基于Sqoop的数据交换系统[J]. 于金良,朱志祥,梁小江. 物联网技术. 2016(03)
[6]一种基于视觉特性的PSNR图像评价方法[J]. 丰明坤,赵生妹,邢超. 南京邮电大学学报(自然科学版). 2015(04)
[7]基于向量皮尔森相关系数的组合赋权法[J]. 张峰,谢振华,程江涛,崔高仑,徐衡博. 火力与指挥控制. 2015(05)
[8]基于Spark+MLlib分布式学习算法的研究[J]. 李彦广. 商洛学院学报. 2015(02)
[9]基于Shark/Spark的分布式空间数据分析框架[J]. 温馨,罗侃,陈荣国. 地球信息科学学报. 2015(04)
[10]大数据处理模型Apache Spark研究[J]. 黎文阳. 现代计算机(专业版). 2015(08)
博士论文
[1]下一代移动通信网络中的业务特征认知及服务机制研究[D]. 周轩.浙江大学 2015
[2]基于Hadoop的网络流量分析系统的研究与应用[D]. 乔媛媛.北京邮电大学 2014
硕士论文
[1]基于空间SSIM度量的ROI提取用于图像优化分类方法[D]. 杨赛舟.湘潭大学 2016
[2]基于代价模型的Spark SQL查询优化研究[D]. 刘春雷.电子科技大学 2016
[3]基于词向量的搜索词分类、聚类研究[D]. 杨河彬.华东师范大学 2015
[4]基于Hadoop的无线网络业务和用户挖掘平台的实现与应用[D]. 张士蒙.北京邮电大学 2015
[5]基于大数据的网络用户行为分析[D]. 任思颖.北京邮电大学 2015
[6]基于Hadoop技术的电信大数据分析平台的设计和实现[D]. 张国栋.上海交通大学 2014
[7]中文短文本主题分类方法研究[D]. 李洪图.西北大学 2014
[8]福建省城市竞争力评价研究[D]. 张蕾蕾.厦门大学 2014
[9]面向移动互联网的业务分析和资源优化系统实现[D]. 刘宗超.北京邮电大学 2014
[10]基于蜂窝网络业务空时分布规律的高能效服务机制研究[D]. 关磊.北京邮电大学 2014
本文编号：2914400
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/2914400.html
