基于公共安全的大数据融合与存储管理研究

发布时间：2024-03-01 21:36

　　近些年来,各类公共安全事件已经呈现出由非常态化的偶发向常态化频发转变的趋势,人民群众的生命财产安全正面临日益严峻的挑战。为了准确追踪和监控公共安全事件的发展演化过程,需要汇聚、融合并存储管理大量的多源异构数据。由于公共安全数据具有复杂多样且获取困难等特性,公共安全业务场景灵活多变,从而造成当前在公共安全数据集成和组织管理等方面仍存在较大的不足,这已成为制约公共安全数据科学领域发展的瓶颈。因此,研究公共安全多源异构数据的处理、融合和存储管理方法,不仅可以为突发性公共安全事件治理提供有力的数据支持,而且对大数据技术在公共安全领域的实际应用也具有较高的研究价值和意义。根据上述背景,本文主要研究工作如下:首先,围绕公共安全数据的三个主要特点,结合公共安全数据的不同管理需求,对数据接入、数据处理以及数据存储三个阶段,设计了各自的技术解决方案,提出了公共安全大数据的全链条、多层次融合与存储管理的系统整体架构。其次,研究了公共安全大数据预处理与融合方法。设计并实现了基于Kettle的公共安全大数据预处理典型架构,研究了基于二分类逻辑回归模型的“脏数据”识别及数据清洗算法;采用Apriori算法构建数...

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

图2-1公共安全事件分类

第二章公共安全数据管理架构9（2）公共安全事件分类公共安全事件是指具有突发性、涉及区域大且可能会造成重大社会影响的事件。《国家突发公共事件总体应急预案》中将公共安全事件划分成四大类：自然灾害、事故灾难、公共卫生事件和社会安全事件。各类公共安全事件结合其性质、严重程度、可靠性等方面....

图2-2公共安全数据管理系统需求

第二章公共安全数据管理架构12描述某一公共安全事件，所有的数据之间没有建立有效地联系，因此需要挖掘出数据间的关联关系，使所有数据形成一个整体。在公共安全事件处理过程中，为了能够保证精确的对实时态势进行判断，必须要把多源异构数据进行一系列包括清洗、关联、组合等操作，从而实现数据融合....

图2-3数据处理流程

第二章公共安全数据管理架构142.4公共安全数据管理系统架构设计在经过对公共安全数据管理系统的需求分析之后，同时结合大数据架构特点，对该公共安全数据管理系统的总体架构进行设计。本文设计的公共安全数据管理系统对数据处理流程表现为将多种来源的公共安全数据采集之后，对相关数据进行融合，....

图2-4数据接入方式示意图

第二章公共安全数据管理架构15图2-4数据接入方式示意图2.4.2数据处理方法公共安全事件处理过程中，各种数据具有跨领域、跨行业的特征，需要对不同行业、不同部门的信息进行进行统一处理。在数据处理过程中，为了能够保证精确的对实时态势进行判断，必须要把多源异构数据进行一系列包括清洗、....

本文编号：3915861