基于SOA之公安数据集成平台探析与应用

发布时间：2016-04-21 20:07

1 绪论

随着信息化应用不断发展，实现信息共享已成为时代发展的要求，是世界发展的趋势，从发现这一趋势之初，我国政府就开始大力开展全国的信息化建设，政府等相关单位作为国家职能部门率先进入信息化建设进程。由于我国领土面积辽阔且各地政治、经济、文化等方面的发展水平不一，并非每一个政府相关部门都从一开始就拥有开展信息化建设的基础，以至于各地政府职能部门的信息化建设呈现出一种“从上到下、从中心向四周、从部分到全局”的发展状态。并且由于各个不同职能部门之间的物理隔阂，虽然信息化建设在不断发展，却是在“独自发展”，形成了一个个“信息孤岛”，妨碍了各部门间的信息共享。大数据时代，如何对海量数据进行挖掘、运用、创造价值，引起了人们的广泛关注，进行这些利用的前提是先将它们“收集”起来。四川省在 2005 年依据《四川公安综合共享数据库设计规范》建立了省级综合共享数据库，采用较简单的技术方式已经收集整合了 27 类公安业务数据一亿多条，在建设公安综合信息应用和跨部门数据共享上发挥了重要作用，极大方便了广大民警的日常警务工作。
...........

2 相关技术

2.1 数据集成方法
联邦数据库管理系统系统（Federation Database ManagementSystem，FDBMS）用于操作、协调、控制 FDBS 中的成员数据库。FDBMS 作为整个系统的管理中枢，负责把各个成员数据库的存储模式映射到公共的联邦模式，同时还负责各种存储模式之间的转换，自动解决异构数据库的操纵和网络传输；除此之外，，FDBMS 还能够接收来自联邦用户的数据请求，通过“翻译”接收到的的数据请求，然后将“翻译”结果发送至各个目标数据库，最后在将各个目标数据库返回的结果进行集成并返回给用户。实现联邦数据库系统 FDBS的五层参考体系机构如图 2.1所示。该系统的不足是它只能在一定的限制条件下实现，例如对加入联邦系统的成员数据库以及各个成员数据库之间的互操作加以一定的限制，在进行各种数据源的数据集成时不够灵活；而且硬件要求高，系统建立耗时长，不是一种通用的数据集成方法。

2.2 面向服务架构（SOA）
SOA 的全称是 ServiceOriented Architecture，即面向服务的体系结构。先后很多厂商和个人都各自对其有着不同的理解，比较普遍的一种是认为 SOA 是一种以服务为导向的组件模型，通过一定标准的接口和协议来实现不同业务功能模块（服务）间得松耦合管理，可实现分布式计算的软件体系结构，其核心价值就在于如何使服务的灵活复用达到最大限度。SOA 体系结构由服务提供者、服务请求者、服务注册中心等三个部分组成。服务提供者将自己经过严格测试后的能够提供的服务发布到服务注册表（由服务注册中心管理），服务请求者通过查询服务注册表中存储的服务信息，查找到所需服务后获取服务提供者的相应信息，再向服务提供者提出请求，从而满足自己的业务需求。SOA的体系结构图如图 2.4所示。服务注册中心：相当于一个存储、管理服务信息的节点，为服务请求者和服务提供者之间搭建一座桥梁，使得这两者之间可以各取所需。服务注册中心有一个通用的标准，只有当服务提供者提供的服务符合这个标准的时候，服务请求者才能够使用其服务。

3 数据集成平台..........12

3.1 总体目标..........12

3.2 功能需求分析.............13

4 主要功能设计...........21

4.1 数据规则定义...........21

5 关键技术实现.........36

5.1 基于数据快照的全表对比增量抽取.............36

6 集成平台性能测试

6.1 测试环境

6.2 测试对象
（1）将人口数据库中的人口变动信息（包括增、删、改）同步到测试数据库中数据表。（2）将车辆数据库的入库车辆变动信息同步到测试数据库中数据表.（3）将酒店居住信息数据库上的 9张表同步到测试数据库中的数据表。（1）测试内容测试样本选择 21 个地市州，对应人口数据库中的 21 个人口信息视图，选取各 25 个字段作为测试对象；测试视图中在选定的字段上发生变化后，是否正确同步到测试数据库对应的测试表中。（2）测试过程首先将这 21 个视图中选中的字段对应的数据完整复制到同步数据表；然后设置同步任务，设置同步时间为定时定点，每个任务并行执行，同步增量数据。（3）测试结果
.........

7 总结与展望

本文理论联系实际，对面向服务架构 SOA、数据集成方法等进行了详细深入的调查和分析，提出采用基于 SOA 的方式进行数据集成，以达到面向服务、易于扩展、动态集成的集成效果。本文主要做了以下几点研究：（1）分析传统数据集成方法的优点及缺点，SOA 在数据集成中得优势，结合公安部门业务系统的实际情况，使用 SOA、XML、数据快照、数据映射等技术，设计实现面向服务架构的数据集成平台。（2）根据公安部门业务系统的实际情况，结合触发器方式、时间戳方式、全表对比方式、日志对比方式等抽取增量数据的方法，采用基于数据快照的全表对比增量数据抽取和基于事务日志的时间戳增量数据抽取的方法获取到所需数据，进一步提高数据集成效率。（3）将公安数据集成过程中的每一个数据整合服务再细化为一个个数据转换步骤服务，形成一个个转换服务，实现基于组件的流程化数据整合机制，实现数据整合部分代码的重用性和可扩展性。下一步，本数据集成平台的研究焦点将转移到数据文件传输模块的研究与实现，解决各分布式数据源间的数据文件传输问题。
.........

参考文献（略）

本文编号：17978