基于大数据技术的公安移动通信数据处理平台设计与实现

发布时间：2017-06-24 01:10

  本文关键词：基于大数据技术的公安移动通信数据处理平台设计与实现，由笔耕文化传播整理发布。

【摘要】：大数据时代,随着数据量不断增长,存储与计算集群的规模也逐渐扩大,几百上千台的云计算环境已不鲜见。现在的集群所需要解决的问题不仅仅是高性能、高可靠性、高可扩展性,还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。优秀的数据处理平台既能提供丰富完善的业务应用,又能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率,并能反馈系统运行状态给系统开发人员。大数据时代的业务与运维将紧密的结合在一起。大数据已开始影响并应用到人类致力于发展的所有领域中,公安工作领域亦不例外。基于大数据技术的公安移动通信数据处理平台以海量结构化通信数据和平台各组件产生的海量结构化、半结构化日志数据为研究对象,设计并实现了一种融合业务系统与运维系统,集成实时数据流处理引擎、大数据管理引擎、分布式内存计算架构和数据交换系统的解决方案。本文从公安信息化建设实际工作出发,根据公安部门提供的全省手机通信实时数据流传输接口,设计并实现了实时数据流处理引擎,对不同运营商、不同信令的实时通信数据流实施抽取、清洗、关联回填等步骤后装载到数据仓库中。基于数据仓库,整合地理信息系统与wEB系统,构建了移动通信数据分析子系统,在空间、时间、目标号码等多个维度上对通信数据进行查询、分析。另外,为实现通讯数据处理平台的高可靠性、易维护性以及数据平台内部组件间高效的数据交换,设计并实现了日志数据分析子系统,通过整合数据采集工具、分布式消息队列、全文搜索引擎和分布式内存计算架构实现了对通信数据的处理、以及数据平台组件日志数据的收集、处理与分析,本系统在济南市公安局已经成功应用,在“科技强警”中起到了重要作用,为分析案情提供了基于通信大数据的高效分析方法,同时也大大提高系统研发与运维人员的工作效率。本文首先对海量通信数据和日志数据应用环境下公安数据中心建设的课题背景进行研究,分析了公安对基于移动通信数据的大型数据处理平台的需求以及目前公共安全领域数据集成平台的应用情况。第二,依据需求分析,通过架构预研与技术选型,给出了基于大数据技术的公安移动通信数据处理平台实时数据流处理引擎、移动通信数据分析子系统、日志数据分析子系统的概要结构设计,包含系统架构设计和技术架构设计,技术架构设计主要依照分层思想定义数据处理平台各组件的功能,系统架构设计的出发点在于系统的可扩展性、高可用性、可维护性,对现有的主流开源大数据技术进行了调研,阐述了日志处理解决方案ELK Stack、分布式内存计算架构Spark 与 Hadoop Ecosystem的融合架构,详述了由数据采集组件(Flume、Logstash)、分布式数据流处理框架(Spark Streaming)组成的实时数据流处理引擎的设计依据,以及由分布式列式数据仓库(Hbase)、分布式消息队列(Kafka)、全文搜索引擎(Elasticsearch)组成的大数据管理引擎的设计方案和特点等。第三,给出了移动通信数据分析子系统与日志数据分析子系统各模块的详细设计,在详细设计的基础上给出各个模块的实现和测试,包括利用公安提供的实时数据流接口进行实时数据流处理程序的开发,基于Spark Streaming的通信数据流关联回填、实时监控程序开发,以及软件模块的开发等。本文最后对生产环境的搭建和应用情况作详细分析,并对系统的进一步改进提出了建议。
【关键词】：流处理 数据共享 数据采集/转换/装载 日志处理 通信大数据
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要8-10
• ABSTRACT10-13
• 第1章 概述13-17
• 1.1 系统开发背景13-14
• 1.2 相关研究现状14-15
• 1.3 本文的主要工作15-16
• 1.4 论文的组织结构16-17
• 第2章 需求分析17-24
• 2.1 系统概述17
• 2.2 系统功能性需求描述17-22
• 2.2.1 实时数据流处理引擎17-19
• 2.2.2 移动通信数据分析子系统19-20
• 2.2.3 日志数据分析子系统20-22
• 2.3 系统非功能性需求描述22-24
• 2.3.1 系统高可用性22-23
• 2.3.2 系统高可扩展性23
• 2.3.3 系统效率23-24
• 第3章 概要设计24-39
• 3.1 系统设计目标和原则24-25
• 3.1.1 设计目标24
• 3.1.2 设计原则24-25
• 3.2 技术架构25-27
• 3.3 系统架构27-39
• 3.3.1 数据采集27-30
• 3.3.2 消息队列30-31
• 3.3.3 分布式内存计算引擎31-32
• 3.3.4 数据存储平台32-37
• 3.3.5 全文搜索引擎37-39
• 第4章 系统详细设计39-60
• 4.1 实时数据流处理引擎详细设计39-53
• 4.1.1 移动通信数据流采集与字段解析39-50
• 4.1.2 移动通信数据流关联回填50-52
• 4.1.3 日志数据流采集与字段解析52-53
• 4.2 移动通信数据分析子系统详细设计53-57
• 4.2.1 业务查询设计53
• 4.2.2 轨迹渲染设计53-55
• 4.2.3 实时监控设计55
• 4.2.4 系统管理设计55-56
• 4.2.5 类结构设计56-57
• 4.3 日志数据分析子系统详细设计57-60
• 第5章 系统实现60-68
• 5.1 移动通信数据分析子系统60-63
• 5.1.1 业务查询模块60-61
• 5.1.2 轨迹渲染模块61
• 5.1.3 系统管理模块61-63
• 5.2 日志数据分析子系统63-67
• 5.2.1 日志查询模块63-64
• 5.2.2 视图构建模块64
• 5.2.3 仪表盘定制模块64-65
• 5.2.4 邮件告警65-67
• 5.3 生产环境部署67-68
• 第6章 结论68-69
• 参考文献69-72
• 致谢72-73
• 学位论文评阅及答辩情况表73

【相似文献】

中国期刊全文数据库 前10条

1 黄卫军;口岸城市通关数据处理平台[J];上海信息化;2005年01期

2 林华兵;;数据处理平台高可靠性的设计与实现[J];中国金融电脑;2010年11期

3 胡继军;;浅谈统计部门在数据处理平台设计中应考虑的问题[J];现代经济信息;2012年14期

4 王业斌;;省级防雷业务数据处理平台的开发[J];科技信息;2009年30期

5 龚一飞;刘万才;;农作物有害生物调查项目数据处理平台的构建与实现[J];中国植保导刊;2012年03期

6 邢煜;;一种海量数据处理平台的解决方案[J];电脑知识与技术;2013年21期

7 蔡玉宝;左春;张正;邹志强;;数据处理平台的研究与实现[J];计算机工程与设计;2008年07期

8 张涛;李建;康永佳;;多任务高并发数据处理平台的技术研究[J];网络安全技术与应用;2010年03期

9 宋均;祝林;;基于云计算的海量数据处理平台设计与实现[J];电讯技术;2012年04期

10 杨凯;曹小军;卢莺;;控制系统数据处理平台开发与应用[J];弹箭与制导学报;2009年04期

中国重要会议论文全文数据库 前6条

1 王业斌;徐建鹏;王凯;;安徽省常规防雷业务服务数据处理平台的开发[A];信息技术在气象领域的开发应用论文集（一）[C];2005年

2 季晓林;刘海砚;;基于数据处理平台的空间矢量数据融合[A];中国地理信息系统协会第八届年会论文集[C];2004年

3 赵旭霞;刘立峰;邵起明;;智能路测系统中的数据处理平台[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年

4 张鹏;;基于XML/Java的数据处理平台[A];Java技术及应用的进展——第八届中国Java技术及应用交流大会文集[C];2005年

5 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

6 陶金花;苏林;李树楷;;一种基于网格的LiDAR数据处理平台架构[A];2007年先进激光技术发展与应用研讨会论文集[C];2007年

中国重要报纸全文数据库 前5条

1 本报记者 刘书臻;山东：数据处理平台建成[N];中国信息报;2011年

2 杨小国;“四大工程”助推普查资料开发提速[N];中国信息报;2012年

3 董平;创新,永不止步[N];中国国门时报;2011年

4 《网络世界》记者 李夏艳;直面无线挑战[N];网络世界;2012年

5 ;“康师傅”喜新厌旧[N];网络世界;2002年

中国博士学位论文全文数据库 前1条

1 林文辉;基于Hadoop的海量网络数据处理平台的关键技术研究[D];北京邮电大学;2014年

中国硕士学位论文全文数据库 前10条

1 张波;基于大数据技术的公安移动通信数据处理平台设计与实现[D];山东大学;2016年

2 周碧漳;面向量化交易的金融数据处理平台研究与原型实现[D];电子科技大学;2016年

3 张杰;面向车载信息的大规模数据处理平台技术研究[D];电子科技大学;2016年

4 严华;统计局数据处理平台的设计和实现[D];电子科技大学;2014年

5 潘思聪;基于云环境的电信数据处理平台设计与实现[D];上海交通大学;2014年

6 但玻;城市热岛效应卫星遥感数据处理平台研发[D];电子科技大学;2011年

7 竺蓓;利用虚拟仪器构建数据处理平台的研究[D];北京交通大学;2014年

8 李涛;基于组件结构的水文信息统一数据处理平台的研究与设计[D];华中科技大学;2006年

9 张银叶;一种可适应多变需求的数据处理平台设计与应用[D];中国科学技术大学;2015年

10 虞培良;成像声纳嵌入式数据处理平台的设计与实现[D];哈尔滨工程大学;2008年

  本文关键词：基于大数据技术的公安移动通信数据处理平台设计与实现，，由笔耕文化传播整理发布。

本文编号：476766