基于Spark平台及话单分析的人物关系可视化的研究与应用
发布时间：2021-06-13 16:15
随着信息时代的飞速推进,手机作为一种必备品,功能和角色越来越多样化,现在的手机具有通话、发短信、上网、导航、办公等各种功能,也记录着通话信息、人际关系、生活习惯等情况。同时,手机也被多数犯罪分子广泛地运用在犯罪实施的过程中。大多数罪犯在预谋和犯罪行为中都不同程度地使用了手机。因此,对话单中的通话记录进行分析已经成为日常办案中必不可少的重要手段。通过分析话单信息得到机主的通话特征和相关人物与机主之间的人物关系,已经成为了警方调查案件和侦查嫌疑人的重要手段。本文以Spark平台作为研究的平台基础,话单通话记录中的数据作为数据基础,通过预处理、存储、查询和分析话单数据,生成相关的通话特征信息,利用决策树分类算法得到人物关系,利用可视化对人物关系加以展现,为侦察嫌疑人提供技术支持。本文主要工作如下:1、提出了一种基于Spark MLlib的决策树分类分析方法,对话单数据进行数据挖掘,生成人物关系。通过Spark SQL查询技术,对机主话单数据的通话信息进行统计,掌握机主的基本通话信息,获取重要的通话特征信息,例如通话次数、通话时间、通话时长和通话位置。之后,利用Spark大数据平台的Spark...
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 小世界理论分析研究现状
1.2.2 人物关系分析研究现状
1.2.3 数据挖掘研究现状
1.2.4 可视化研究现状
1.3 研究内容
1.4 论文组织结构
第2章 相关技术概述
2.1 Spark大数据分析平台
2.1.1 Spark的概述和生态系统
2.1.2 Spark中的存储技术
2.1.3 SparkSQL技术
2.2 基于决策树的分类分析算法
2.2.1 决策树算法
2.2.2 决策树算法的性能评价指标
2.3 基于SparkGraphx的图计算框架
2.3.1 SparkGraphx图计算框架
2.3.2 SparkGraphx图搜索算法
2.4 可视化技术
2.5 本章小结
第3章 话单的特征统计与基于Spark的决策树分类算法
3.1 概述
3.1.1 研究目标
3.1.2 总体设计方案
3.2 基于Spark的通话特征统计查询
3.2.1 SparkSQL原理
3.2.2 SparkSQL查询
3.2.3 查询命令的调用和条件参数的传入
3.3 基于Spark决策树的人物关系分析
3.3.1 决策树的特征选择和生成
3.3.2 话单人物关系分析
3.3.3 决策树算法的性能评价指标
3.4 实验及分析
3.5 本章小结
第4章 基于Spark的图搜索算法及数据可视化
4.1 概述
4.1.1 研究目标
4.1.2 总体设计方案
4.2 基于SparkGraphx的图搜索算法
4.2.1 SparkGraphx连通图
4.2.2 基于SparkGraphx获取好友列表
4.2.3 好友列表的整理和分析
4.3 数据结果可视化
4.3.1 Echarts基础功能
4.3.2 数据预处理
4.3.3 数据可视化
4.4 实验结果
4.5 本章小结
第5章 Spark话单分析系统中的应用
5.1 概述
5.1.1 系统环境
5.1.2 测试数据选取
5.1.3 系统运行效果
5.2 基于Spark平台的话单分析系统的设计与实现
5.2.1 话单分析系统的设计
5.2.2 话单分析系统的重点实现
5.3 系统运行结果
5.3.1 系统主界面
5.3.2 系统管理
5.3.3 基础统计分析
5.3.4 结果可视化显示
5.4 结果分析和优化
5.4.1 结果分析
5.4.2 性能优化
5.5 本章小结
结论
参考文献
攻读硕士学位期间获得的科研成果
致谢
【参考文献】：
期刊论文
[1]Spark的图计算框架:GraphX[J]. 孙海. 现代计算机(专业版). 2017(09)
[2]大数据处理平台Spark基础实践研究[J]. 邱丽娟. 无线互联科技. 2017(01)
[3]基于Spark核心架构的大数据平台技术研究与实践[J]. 郭慈,廖振松. 电信工程技术与标准化. 2016(10)
[4]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海. 微型机与应用. 2016(14)
[5]面向大数据分析的决策树算法[J]. 张棪,曹健. 计算机科学. 2016(S1)
[6]地图可视化与常用工具的研究[J]. 叶枫,王志坚,李凌,张鹏,顾和生. 水利信息化. 2015(06)
[7]基于Spark+MLlib分布式学习算法的研究[J]. 李彦广. 商洛学院学报. 2015(02)
[8]基于特征选择的人物关系抽取方法[J]. 黄卫春,范少帅,熊李艳,钟茂生. 科学技术与工程. 2015(03)
[9]Spark框架的Graphx算法研究[J]. 陈虹君. 电脑知识与技术. 2015(01)
[10]大数据可视分析综述[J]. 任磊,杜一,马帅,张小龙,戴国忠. 软件学报. 2014(09)
硕士论文
[1]SPARK SQL系统查询优化的研究与实现[D]. 丁凯泽.北京邮电大学 2017
[2]Spark数据处理平台中内存数据空间管理技术研究[D]. 王海华.北京工业大学 2016
[3]面向社会网络应用的人物关系抽取方法研究[D]. 洪军建.西藏大学 2016
[4]公安重点关注对象的聚类分析研究[D]. 张玉超.山东大学 2015
[5]基于大数据的数据挖掘引擎[D]. 樊嘉麒.北京邮电大学 2015
[6]基于Spark平台的协同过滤推荐算法的研究与实现[D]. 张明敏.南京理工大学 2015
[7]社交网络海量数据的分析与可视化[D]. 武泽旭.北京邮电大学 2014
[8]信息可视化中的交互性视觉元素应用研究[D]. 张秋.北京印刷学院 2013
[9]面向社会网络的人物关系抽取研究[D]. 彭成.苏州大学 2013
[10]社会关系网络构建方法研究[D]. 杜一鸣.河北农业大学 2010
本文编号：3227869
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 小世界理论分析研究现状
1.2.2 人物关系分析研究现状
1.2.3 数据挖掘研究现状
1.2.4 可视化研究现状
1.3 研究内容
1.4 论文组织结构
第2章 相关技术概述
2.1 Spark大数据分析平台
2.1.1 Spark的概述和生态系统
2.1.2 Spark中的存储技术
2.1.3 SparkSQL技术
2.2 基于决策树的分类分析算法
2.2.1 决策树算法
2.2.2 决策树算法的性能评价指标
2.3 基于SparkGraphx的图计算框架
2.3.1 SparkGraphx图计算框架
2.3.2 SparkGraphx图搜索算法
2.4 可视化技术
2.5 本章小结
第3章 话单的特征统计与基于Spark的决策树分类算法
3.1 概述
3.1.1 研究目标
3.1.2 总体设计方案
3.2 基于Spark的通话特征统计查询
3.2.1 SparkSQL原理
3.2.2 SparkSQL查询
3.2.3 查询命令的调用和条件参数的传入
3.3 基于Spark决策树的人物关系分析
3.3.1 决策树的特征选择和生成
3.3.2 话单人物关系分析
3.3.3 决策树算法的性能评价指标
3.4 实验及分析
3.5 本章小结
第4章 基于Spark的图搜索算法及数据可视化
4.1 概述
4.1.1 研究目标
4.1.2 总体设计方案
4.2 基于SparkGraphx的图搜索算法
4.2.1 SparkGraphx连通图
4.2.2 基于SparkGraphx获取好友列表
4.2.3 好友列表的整理和分析
4.3 数据结果可视化
4.3.1 Echarts基础功能
4.3.2 数据预处理
4.3.3 数据可视化
4.4 实验结果
4.5 本章小结
第5章 Spark话单分析系统中的应用
5.1 概述
5.1.1 系统环境
5.1.2 测试数据选取
5.1.3 系统运行效果
5.2 基于Spark平台的话单分析系统的设计与实现
5.2.1 话单分析系统的设计
5.2.2 话单分析系统的重点实现
5.3 系统运行结果
5.3.1 系统主界面
5.3.2 系统管理
5.3.3 基础统计分析
5.3.4 结果可视化显示
5.4 结果分析和优化
5.4.1 结果分析
5.4.2 性能优化
5.5 本章小结
结论
参考文献
攻读硕士学位期间获得的科研成果
致谢
【参考文献】：
期刊论文
[1]Spark的图计算框架:GraphX[J]. 孙海. 现代计算机(专业版). 2017(09)
[2]大数据处理平台Spark基础实践研究[J]. 邱丽娟. 无线互联科技. 2017(01)
[3]基于Spark核心架构的大数据平台技术研究与实践[J]. 郭慈,廖振松. 电信工程技术与标准化. 2016(10)
[4]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海. 微型机与应用. 2016(14)
[5]面向大数据分析的决策树算法[J]. 张棪,曹健. 计算机科学. 2016(S1)
[6]地图可视化与常用工具的研究[J]. 叶枫,王志坚,李凌,张鹏,顾和生. 水利信息化. 2015(06)
[7]基于Spark+MLlib分布式学习算法的研究[J]. 李彦广. 商洛学院学报. 2015(02)
[8]基于特征选择的人物关系抽取方法[J]. 黄卫春,范少帅,熊李艳,钟茂生. 科学技术与工程. 2015(03)
[9]Spark框架的Graphx算法研究[J]. 陈虹君. 电脑知识与技术. 2015(01)
[10]大数据可视分析综述[J]. 任磊,杜一,马帅,张小龙,戴国忠. 软件学报. 2014(09)
硕士论文
[1]SPARK SQL系统查询优化的研究与实现[D]. 丁凯泽.北京邮电大学 2017
[2]Spark数据处理平台中内存数据空间管理技术研究[D]. 王海华.北京工业大学 2016
[3]面向社会网络应用的人物关系抽取方法研究[D]. 洪军建.西藏大学 2016
[4]公安重点关注对象的聚类分析研究[D]. 张玉超.山东大学 2015
[5]基于大数据的数据挖掘引擎[D]. 樊嘉麒.北京邮电大学 2015
[6]基于Spark平台的协同过滤推荐算法的研究与实现[D]. 张明敏.南京理工大学 2015
[7]社交网络海量数据的分析与可视化[D]. 武泽旭.北京邮电大学 2014
[8]信息可视化中的交互性视觉元素应用研究[D]. 张秋.北京印刷学院 2013
[9]面向社会网络的人物关系抽取研究[D]. 彭成.苏州大学 2013
[10]社会关系网络构建方法研究[D]. 杜一鸣.河北农业大学 2010
本文编号：3227869
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3227869.html
