卡口数据集成平台的设计与实现

发布时间：2017-04-11 16:03

  本文关键词：卡口数据集成平台的设计与实现，，由笔耕文化传播整理发布。

【摘要】：随着公安信息化建设的迅速发展,特别是以天网工程为建设重点的快速发展,按照公安部统一部署,各级公安部门已开始建设治安、交警、机场高速路等卡口系统及相应的指挥管理中心,为公安机关侦查办案提供数据支持。越来越多的布控需求导致卡口数据急剧增长,特别是高速、治安卡口数据的高速并发已经给现有的数据存储体系造成了巨大的压力。但由于各个区域的卡口是由不同厂家建设,卡口数据没有统一字段描述,相互间缺少统一规划和技术协调,不能有效实现网络的互联互通和资源共享。同时,现有成熟的分布式系统大都是通用型,不能很好地解决按时间或地域进行相对集中存储的问题,这与公安侦查办案中的实际需求还有一定的差距。为解决公安卡口数据应用的困惑,本文设计了符合公安机关实际业务需求的卡口数据集成平台,用于实现对公安机关各业务系统的数据支持。本文通过以下三个步骤来完成:首先,介绍了课题研究背景和意义,通过对国内外研究现状分析的基础上,结合公安机关具体业务需求对卡口数据集成平台进行了需求分析,介绍了卡口数据集成平台工作流程和功能架构。其次,紧紧围绕公安机关具体需求,对卡口数据集成平台进行总体设计,提出了符合卡口数据特点的存储体系架构。接着,按照数据流向,并根据卡口数据集成平台的工作流程和功能架构,对数据采集与预处理、数据写入、数据检索功能和系统可用性方面进行研究。在数据采集与预处理方面,采用搭接方式实时采集卡口数据,通过对卡口数据进行分析,采用动态清洗插件技术和XML语言来解决底层卡口数据的异构性问题。在数据被写入主存储节点的整个过程中,对关键技术数据缓存策略、多维数据构建、组播路由机制、全主控节点机制进行详细研究。缓存策略能够保证数据采集与数据写入存储体系的有效衔接;采用多维度数据切分策略和组播路由机制相结合的策略实现了多维数据构建、写入和检索功能。通过对卡口数据按区域、时间进行分组,使相邻数据相对集中存储。在进行数据检索时,通过对检索条件进行多维字段切分,快速找到层间组播的下一个组播源,提高层内检索速度。通过全主控节点机制避免单点故障问题;在系统可用性方面,主要对存储节点检测、在线备份、离线备份和数据恢复方面进行研究。最后,本文的研究成果在项目中得到了初步验证,整个系统的运行通过了功能测试及非功能测试。从测试结果可以看出系统在稳定性、负载能力上表现良好。同时,经测试发现卡口数据集成平台的存储体系具备更高的可用性、更简易的扩充性,具有较广阔的前景。总体来说,论文所设计的卡口数据集成平台的实现能够为各个警种提供可用性高的数据存储,为治安管理和打击犯罪提供数据支持。
【关键词】：异构数据 分布式存储 数据检索 数据冗余 数据恢复
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.52
【目录】：

• 摘要3-5
• ABSTRACT5-10
• 1 绪论10-13
• 1.1 研究背景10
• 1.2 研究意义10-11
• 1.3 本文研究内容11-12
• 1.4 本文组织结构12-13
• 2 国内外研究现状13-18
• 2.1 大数据处理技术发展现状13-14
• 2.2 国内警用系统发展现状14-15
• 2.3 海量数据存储技术15-16
• 2.4 分布式存储系统16-17
• 2.5 本章小结17-18
• 3 卡口数据集成平台需求分析18-23
• 3.1 卡口数据现状18-19
• 3.2 需求分析19-22
• 3.2.1 功能需求19-21
• 3.2.2 非功能需求21-22
• 3.3 本章小结22-23
• 4 卡口数据集成平台设计23-45
• 4.1 卡口数据集成平台架构23-24
• 4.2 存储体系架构24-26
• 4.3 数据采集与预处理26-30
• 4.3.1 数据采集27
• 4.3.2 卡口数据分析27-29
• 4.3.3 数据清洗转换29-30
• 4.4 数据写入30-36
• 4.4.1 数据缓存策略31-32
• 4.4.2 多维数据构建32-33
• 4.4.3 多级组播路由机制33-35
• 4.4.4 全主控节点机制35-36
• 4.5 数据检索36-39
• 4.5.1 数据检索流程36-38
• 4.5.2 异常容错机制38-39
• 4.6 可用性策略39-44
• 4.6.1 节点检测39-42
• 4.6.2 数据备份42-43
• 4.6.3 数据恢复43-44
• 4.7 本章小结44-45
• 5 卡口数据集成平台实现45-56
• 5.1 数据的采集与预处理实现45-48
• 5.1.1 数据采集46-47
• 5.1.2 数据清洗47-48
• 5.2 数据写实现48-50
• 5.3 数据检索实现50-51
• 5.4 数据可用性实现51-54
• 5.4.1 节点检测52
• 5.4.2 数据备份52-53
• 5.4.3 数据恢复53-54
• 5.5 数据服务接口实现54-55
• 5.6 本章小结55-56
• 6 测试与结果分析56-70
• 6.1 测试环境56-57
• 6.1.1 实施架构56-57
• 6.1.2 测试数据集57
• 6.2 功能性测试57-62
• 6.2.1 数据采集与预处理58-59
• 6.2.2 数据切分59-60
• 6.2.3 数据写入60-61
• 6.2.4 数据检索61-62
• 6.3 非功能性测试62-68
• 6.3.1 自动冗余62-64
• 6.3.2 离线数据自动备份和恢复64-66
• 6.3.3 性能测试66-67
• 6.3.4 扩展性测试67-68
• 6.4 系统验证分析68-69
• 6.5 本章小结69-70
• 7 总结与展望70-73
• 7.1 总结70-71
• 7.2 展望71-73
• 参考文献73-75
• 致谢75-76
• 攻读学位期间发表的学术论文目录76-78

【相似文献】

中国期刊全文数据库 前10条

1 丁剑飚;;地测集成平台的研制开发及应用[J];铜业工程;2007年02期

2 冷鹏;;搭建金融业数据集成平台[J];金融电子化;2009年11期

3 相海泉;;医院集成平台热的背后[J];中国信息界(e医疗);2014年01期

4 郑自强;如何正确选择业务集成平台[J];互联网周刊;2002年33期

5 黄双喜,范玉顺;企业集成平台参考模型与实现体系研究[J];机械科学与技术;2003年S1期

6 李建强,范玉顺;整体解决方案下的集成平台技术研究[J];控制与决策;2004年03期

7 李进,何卫平,房亚东,王忠明;基于动态分类的制造资源集成平台的研究及实现[J];制造业自动化;2004年11期

8 李建强;范玉顺;;企业集成平台技术研究[J];计算机科学;2004年01期

9 邹泽明,李从心,阮雪榆;适用于企业信息化的数控系统集成平台研究[J];计算机工程;2005年12期

10 刘雪晖,尹超,何彦,刘飞;网络化制造集成平台集中式身份认证策略研究[J];计算机集成制造系统;2005年06期

中国重要会议论文全文数据库 前10条

1 谷丰;胡志坤;陈晓龙;李勋;;城市智能交通管理系统集成平台开发[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

2 严瑾;;铁路客站现代管理集成平台在成都东站的研究与应用[A];四川省通信学会2012年学术年会论文集[C];2012年

3 杜峗曦;龚京忠;李国喜;吴宝中;;卫星数字化设计制造集成平台[A];企业应用集成系统与技术学术研究会论文集[C];2006年

4 李悦;殷燕芬;;SoC集成平台设计的研究[A];2005中国通信集成电路技术与应用研讨会论文集[C];2005年

5 金蓓弘;刘昕;李京;邵丹华;;实时数据集成平台的设计和实现[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

6 高鹤;李歧强;;流程行业MES基于智联子集成平台的研究[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

7 董燕;;中央监测资源集成平台的软件架构设计思路[A];中国新闻技术工作者联合会2008年学术年会论文集（下）[C];2008年

8 刘永宁;魏嘉;仇正兰;;NEWS BASE3.0数据集成平台[A];油气地球物理实用新技术——中国石化石油勘探开发研究院南京石油物探研究所2004年学术交流会论文集[C];2004年

9 王霓虹;韩璐;;嵌入式GIS研究与发展综述[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年

10 吴清漪;张浩;乔非;谢小轩;;基于J2EE标准的BPR集成平台的研究和实现[A];工业自动化应用实践——全国（第五届）炼钢、连铸和轧钢自动化学术会议论文集[C];2002年

中国重要报纸全文数据库 前10条

1 驻京记者 贾岩;打破信息孤岛 集成平台胜算几何[N];医药经济报;2011年

2 章立;企业集成平台选择尤为重要[N];中国电力报;2004年

3 记者 薛峰 通讯员 高静;上海石油加快搭建三大系统集成平台[N];中国石化报;2007年

4 董丽娟;南铝信息化系统集成平台投入运行[N];闽北日报;2009年

5 董丽娟;南铝铝业信息化系统集成平台 通过科技成果鉴定[N];中国有色金属报;2009年

6 ;GE：懂医疗是我们的核心技术[N];中国计算机报;2011年

7 记者 廖雪梅;三峡库区综合信息空间 集成平台正式开通[N];重庆日报;2010年

8 辽宁中医药大学附属医院 罗智博　何继勇 李明哲;构建四大平台 实现中医院数字化[N];中国中医药报;2011年

9 徐旭忠;三峡库区综合信息空间集成平台开始建设[N];中国税务报;2008年

10 记者 张银炎;上海地区开拓IPMS新领域[N];中国船舶报;2005年

中国博士学位论文全文数据库 前2条

1 任午令;电子商务环境下供应链管理集成平台及其关键技术研究[D];浙江大学;2003年

2 马增辉;水信息系统综合集成研究与应用[D];西安理工大学;2009年

中国硕士学位论文全文数据库 前10条

1 陈志强;基于SOA框架的高校人事管理系统设计[D];复旦大学;2013年

2 狄t

本文编号：299426