面向DPI数据的旅游画像系统的研究与实现

发布时间：2020-03-25 07:26

【摘要】：随着互联网的飞速发展,各类互联网应用通过庞大的用户群体催生了海量的用户在网行为数据。越来越多的用户会选择访问旅游网站和使用旅行类App。如何从这部分海量数据中对旅游行业用户进行分析成为目前研究工作中的重点。本文以运营商的DPI(Deep Packet Inspection)流量作为数据源,借助大数据平台处理的相关技术,实现了面向DPI数据的旅游用户画像系统的设计实现与应用。本文的主要工作有以下两个方面:1)基于运营商DPI数据,结合网络爬虫技术获取的辅助旅游信息数据,搭建了面向DPI数据的旅游画像系统,系统包括了数据处理平台以及数据存储平台两个部分。通过Dj ango框架搭建web服务,完成了旅游用户画像的可视化模块,并对旅游用户在网行为进行了分析展示。2)根据DPI流量数据的特性,系统分析了面向网络用户的基于时间戳的、基于报文信息的、基于域名的以及基于网页内容的特征。针对旅游用户身份识别任务,利用上述DPI流量特征,设计了基于机器学习模型的旅游用户身份识别方法,通过实验对提取出的特征进行不同的组合分析,提升了模型的训练与评估效果。
【图文】：

Ｗｏｒｄ２Ｖｅｃ实际是一种网络结构相对比较简单的神经网络模型，根据网络结逡逑构输入输出的不同，Ｗｏｒｄ２Ｖｅｃ有两种网络结构分别是ＣＢ０Ｗ模型和Ｓｋｉｐ－ｇｒａｍ逡逑模型，，他们的网络结构图如图２－１所示。逡逑１１逡逑

实现了各个硬件设备间的计算资源共享是分布式计算框架的核心思想之一。逡逑目前有许多开源的分布式计算框架广泛使用在实际工程中，例如基于逡逑Ｈａｄｏｏｐ分布式计算平台的ＭａｐＲｅｄｕｃｅ框架如图２－２所示，Ｓｐａｒｋ框架，Ｓｔｏｒｍ框逡逑架等等。考虑到电信运营商ＤＰＩ流量数据量庞大的规模和实验室的可使用的设逡逑备资源两个方面的因素，在本文设计的数据预处理模块中选用了邋ＭａＰＲｅｄＵＣｅｆ４４］逡逑作为前期ＤＰＩ旅游用户流量数据提取的技术手段。逡逑Ｃｌｉｅｎｔ逡逑ｉ邋ＪｏｂＴｒａｃｋｅｒ逡逑Ｉ邋ｐ邋－￣ｎ逡逑１邋Ｉ邋Ｍａｐｐｅｒ邋ｊｓ！邋逦；；逦逡逑、}0０，ｋ邋Ｒｅｄｕｃｅｒ邋￣￣逡逑？Ｍａｐｐｅｒ逦ＭａｐＯｕｔｐｕｔ逦Ｉ逦邋逦逡逑逦逡逑｜ＴａｓｋＴｒａｃｋｅｒ邋ｊ逦｜ＴａｓｋＴｒａｃｋｅｒ逡逑图２－２邋ＭａｐＲｅｄｕｃｅ计算原理图逡逑ＭａｐＲｅｄｕｃｅ是一种基于Ｈａｄｏｏｐ分布式计算原理的专门用于处理海量数据的逡逑分布式计算框架，在大规模数据的计算任务上的计算效果一直很好，因此对于本逡逑文提出的面向ＤＨ数据的旅游画像系统的搭建帮助很大。ＭａｐＲｅｄｕｃｅ的核心思逡逑想就是“先分后合”。Ｍａｐｐｅｒ负责“任务划分”，首先根据业务需求把复杂的任逡逑务划分为若干个小型任务来处理。Ｒｅｄｕｃｅｒ负责“任务合并”，主要是前一步ｍａｐ逡逑阶段每一个小型任务得到的计算结果进行合并成大型任务的输出结果。逡逑ＭａｐＲｅｄｕｃｅ实现流程逡逑输入：逡逑大数据处理任务逡逑输出：逡逑处理结果逡逑步骤：逡逑１．
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;TP393.092

【相似文献】

相关期刊论文 前10条

1 阎永利;;用于蒸馏水机高温测量的DPI系列智能测量仪表[J];机电信息;2014年35期

2 戴明艳;邓也;张晓辉;古莉姗;;DPI技术在数据业务信道分配中的应用[J];电信工程技术与标准化;2011年11期

3 黄健文;;基于DPI的流量识别系统的开发与设计[J];电子设计工程;2017年11期

4 谷红勋;张霖;;DPI:运营商大数据安全运营的基石[J];网络空间安全;2016年07期

5 郭建东;;“DPI”教学模式在《C++面向对象程序设计》教学中的应用[J];职业教育研究;2007年04期

6 李国平;王勇;陶晓玲;;基于DPI和机器学习的网络流量分类方法[J];桂林电子科技大学学报;2012年02期

7 冯春;辛勇;;大学生心理健康教育DPI三维模式的建构[J];黑龙江高教研究;2011年04期

8 肖明坤;王吉顺;;基于电信运营商固网DPI系统的大数据清洗方案[J];电信工程技术与标准化;2016年02期

9 隋毅;;关于DPI智能提速铜线应用场景的技术分析[J];信息通信;2015年08期

10 郭恩阳;;DPI在移动分组域中的应用与展望[J];移动通信;2012年18期

相关会议论文 前10条

1 董静梅;陈佩杰;;过度训练对大鼠中性粒细胞呼吸爆发及吞噬功能的影响及DPI的干预作用[A];第九届全国体育科学大会论文摘要汇编(4)[C];2011年

2 刘创;辛阳;;DPI流量检测关键技术的分析与设计[A];第九届中国通信学会学术年会论文集[C];2012年

3 阮骊韬;王胜智;艾红;白筠菲;;DPI和超声造影在直肠结肠癌肝转移诊断中的价值[A];中国超声医学工程学会第八届全国腹部超声学术会议论文汇编[C];2010年

4 郭文锐;黄剑;;基于DPI技术的网络与信息安全的监测及管控研究[A];2014第二届中国指挥控制大会论文集（下）[C];2014年

5 罗福成;童清平;连娟;裴红;陈训;;DPI在肝脏肿瘤应用中方法学探讨[A];中华医学会第六次全国超声医学学术年会论文汇编[C];2001年

6 李轩;胡正名;;基于DPI的P2P流量监控系统的分析与设计[A];2012年全国网络与数字内容安全学术年会论文集[C];2012年

7 胡涛;黄光明;杨秀荣;;DPI实时探索Aβ_(1-42)和Lilrb2 receptor相互作用的动力学机制[A];中国化学会第30届学术年会摘要集-第二十八分会：化学生物学[C];2016年

8 林鹏;潘洁;黄芳;高洁;侯慧芳;粱焱瑞;;基于SDN NFV的未来智能虚拟化DPI感知网络[A];中国通信学会信息通信网络技术委员会2015年年会论文集[C];2015年

9 李红林;;基于移动用户DPI数据的终端识别应用[A];第六届云南省科协学术年会暨红河流域发展论坛论文集——专题二：滇南中心智慧城市建设[C];2016年

10 胡琳欣;许鹏翔;林键;;基于宽带大数据的家庭终端级画像研究[A];2018广东通信青年论坛优秀论文专刊[C];2018年

相关重要报纸文章 前3条

1 本报记者 黄舍予;双箭齐发 浩瀚深度推出“航母级”高性能DPI新品[N];人民邮电;2018年

2 本报记者 黄舍予;洞察流量，高性能DPI助力运营商打造大数据引擎[N];人民邮电;2018年

3 李莉;华为TaiShan服务器携手内蒙古电信开创DPI应用新格局[N];人民邮电;2019年

相关硕士学位论文 前10条

1 李苒;基于DPI数据的恶意URL检测方法研究[D];北京邮电大学;2019年

2 唐嘉泉;面向DPI数据的旅游画像系统的研究与实现[D];北京邮电大学;2019年

3 谭尧文;基于DPI流量的大规模网络指纹系统的设计与应用[D];北京邮电大学;2018年

4 石林;基于DPI的流量识别方法研究与应用[D];江西理工大学;2015年

5 李洁;基于DPI的流量识别与控制系统的设计与实现[D];西安科技大学;2016年

6 程博;基于DPI的流量识别与控制系统的研究与设计[D];北京邮电大学;2015年

7 陈泽鑫;基于DPI技术的流量监控系统的设计与实现[D];兰州大学;2015年

8 王凯;基于DPI系统的改进正则表达式算法[D];江西理工大学;2014年

9 陈景忠;基于DPI的流媒体流量监控系统的研究与实现[D];江西理工大学;2014年

10 降立川;反溶剂重结晶法制备超细布地奈德及其DPI新剂型初探[D];北京化工大学;2007年

本文编号：2599611