面向应急物流的数据汇聚系统的设计与实现

发布时间：2020-11-15 00:41

　　 我国是世界上受自然灾害影响最为严重的国家之一,种类多、频度高的自然灾害正在高强度考验着我国的应急体系,而应急物流作为应急体系的关键环节,支撑和制约着应急体系的成功。实践表明,我国的应急物流体系在网络通信、设施选址、物资调度、干线运输等方面有着充分的研究,而对应急体系底层服务的关注稍有不足,尤其在底层数据汇聚方面存在诸多问题。本文依托国家科技部重点研发计划的专项子课题“综合指挥调度技术研究和五跨综合指挥调度信息平台”,对信息平台建设中的数据汇聚问题进行研究,设计并实现了面向应急物流的数据汇聚系统。系统提供多汇聚方式从外部信息系统中汇聚数据,接着对数据进行结构层面和语义层面的转换,最后将海量数据存储于大数据集群,实现了“数据汇聚-数据清洗-数据转换-数据存储”的全流程工作。本文首先从应急物流体系入手,介绍了其在国内外的发展及现状;紧接着对系统涉及的相关技术背景进行了描述;然后介绍了系统的需求分析,划分为功能需求及非功能需求;而后对系统整体进行概要设计,划分子系统和功能模块,并重点研究了面向外部系统的数据汇聚问题、数据语义层面转换问题以及系统操作的可追溯和监控问题;之后依据系统结构对各模块的实现细节和流程进行了介绍;最后对系统的测试情况进行了介绍,测试项目全部通过,符合需求分析的要求。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：F252;TP311.52
【部分图文】：

第二章背景知识介绍??基于Ｋｅｔｔｌｅ优秀的可扩展性，本文选择Ｋｅｔｔｌｅ作为系统数据汇聚部分的开发??基础，将Ｋｅｔｔｌｅ的核心代码集成到数据汇聚系统中。??对于数据汇聚框架Ｋｅｔｔｌｅ来说，其核心包含两个概念和四个模块，两个概念??分别是：转换和作业。转换的定义是在Ｋｅｔｔｌｅ中进行的数据抽取转换和加载的流??程，作业则是定义一个完整工作流的过程，作业包含转换。四个模块分别是［８］：??＊?Ｓｐｏｏｎ：译为铲子，是Ｋｅｔｔｌｅ框架中用来对数据转换和作业脚本进行设计的??图形化工具。??＊?Ｐａｎ：译为平底锅，是Ｋｅｔｔｌｅ框架中提供的一款命令行工具，用来执行在Ｓｐｏｏｎ??中设计好的数据转换任务。??＊?Ｋｉｔｃｈｅｎ：译为厨房，Ｋｅｔｔｌｅ框架中的命令行工具，用来执行设计好的作业；??參Ｃａｒｔｅ：译为菜单，是Ｋｅｔｔｌｅ框架提供的Ｈｔｔｐ服务器，用于对Ｈｔｔｐ请求的监??听，完成远程执行转换和作业，除此之外还可以被集成到集群中。??Ｋｅｔｔｌｅ框架组件图如图２－３所示［９］：??

能负责实现平台的各项业务并对平台使用者开放；公共服务功能则是为业务应用??功能提供包含位置、数据访问、算法模型在内的基础服务；数据中心负责为平台??各业务和功能提供基础数据存储服务；如图３－１所示是“五跨”综合指挥调度信息??平台的业务架构图［６］：??指实应?指指业??挥时急?预物仓?运供分?挥挥?务??调跟通?案资储?力应析?调调?应??度踪信?管管管?管管统?度度?用??理?理?理?理理计????＊??Ｌ￣?系统管理?＠??应急处置?????????????丨?——??｜?ＧＩＳ服务?｜?｜?安全垠务?｜?｜?工作流服务?｜?｜?配置管理服务????ｉ?公??数据访问服务?数据接口服务?Ｉ?共??＇—１?．?＇?＇?■?—?；?．?—１?服???—?务??数?玫????１４－４－１１?＾?数据交換服务?数据ｃｍ垠务??关系型数据库分布式文件系统分布式数据缓存?心??仓储???１?交?供物气?预储管?Ｉ１＆?????１?通应?流象?控系统??国储?民政?红会?＾?｜???????????＾??末端投递调度系统?应急物资信息月ｇ务系统?物资中转管控系统??图３－１?“五跨”综合指挥调度信息平台业务架构图??其中数据汇聚服务位于“五跨”综合指挥调度信息平台的公共服务层，负责??对外将外部系统数据进行汇聚并存储至平台数据中心，也是本文面向应急物流的??１３??

数据汇聚系统的设计与实现所在。??在“五跨”信息平台中，数据汇聚系统负责将外部系统中的数据进行汇聚、??转换处理并存储到数据中心，是面向外部系统的平台内系统。图３－２展示了面向??应急物流的数据汇聚系统与“五跨”信息平台其他部分以及外部系统之间的关系：??“五跨”综合指挥调度丨／ｍ?ｉ＇：合?——外部放｜——??Ｉ?国储?供??????Ｉ民政仓储１?Ｊ??系统松?｜面向应３物流的数据汇聚（！：）?ｆｓ．ｔｒｍ?５??作《?—?ｔ?系统?；：：?：■：，．．．．．．＾?????ｆ??｜?交通系洗??气象系统???＼?ｒ???????数据中心?未端《递系氏??图３－２面向应急物流的数据汇聚系统在“五跨”信息平台中的位置??从图３－２可知，面向应急物流的数据汇聚系统的系统角色为系统操作员，通??过命令行或者ｗｅｂ界面的方式对数据汇聚系统进行操作，包括但不限于对汇聚??任务进行配置、启动计算任务、查看分析日志等。此外，与数据汇聚系统进行交??互的角色主要有两个：??１）
【相似文献】

相关期刊论文 前10条

1 高垣;佀洁;;高校数据汇聚框架设计研究[J];数码世界;2018年02期

2 程军;;集中办公环境下多节点协作数据汇聚系统的设计与实现[J];中国新通信;2018年14期

3 夏文忠;;大数据汇聚关键技术与统一架构研究[J];电信技术;2015年01期

4 刘小伶;;市级政务数据汇聚共享平台的设计与应用[J];福建电脑;2018年05期

5 王枚;徐宝华;;基于ZigBee技术的数据汇聚终端设计及应用[J];物联网技术;2014年11期

6 江接宝;余卫红;;基于开源的数据汇聚与可视化技术研究[J];电脑知识与技术;2019年10期

7 芮正玉;张本宏;张建军;俞磊;;一种用于工业无线传感器网络的数据汇聚机制[J];合肥工业大学学报(自然科学版);2018年04期

8 罗永健;史德阳;陈涛;张卫东;;基于多路由传输的无线传感器网络安全数据汇聚机制[J];兵工自动化;2012年09期

9 刘嘉新;郎红;李小明;;无线传感器网络山洪监测数据汇聚平台[J];自动化技术与应用;2013年06期

10 何卓峰;;大数据汇聚平台在交通卡口应用的分析与设计[J];通讯世界;2019年06期

相关博士学位论文 前5条

1 吴超;面向物联网移动数据汇聚的能效优化方法研究[D];北京邮电大学;2018年

2 罗红;无线传感器网络数据汇聚路由问题的研究[D];北京邮电大学;2007年

3 李烁;WSAN中时延约束的协作数据汇聚能效优化研究[D];中南大学;2014年

4 曾波;面向数据汇聚传感网络的TDMA链路调度技术研究[D];浙江大学;2013年

5 郭江鸿;无线传感网若干安全问题研究[D];西安电子科技大学;2013年

相关硕士学位论文 前10条

1 康绍舜;面向应急物流的数据汇聚系统的设计与实现[D];北京邮电大学;2019年

2 刘宁;基于SINR的无线传感器网络数据汇聚问题研究[D];曲阜师范大学;2018年

3 黄诗鹤;SDN-Campus控制器性能数据汇聚分析系统的设计与实现[D];东南大学;2018年

4 芮正玉;工业无线传感器网络数据汇聚机制研究[D];合肥工业大学;2017年

5 孙晓敏;无线网络数据采集与数据汇聚算法研究[D];曲阜师范大学;2017年

6 刘建成;制造物联网数据汇聚调度策略研究[D];广东工业大学;2016年

7 魏娟;无线传感器网络数据汇聚协议的研究[D];山东大学;2009年

8 曾汉洋;智能监所勤务数据汇聚系统软件设计[D];浙江大学;2017年

9 张宝艺;CPS中数据汇聚与分发机制研究[D];东北大学;2014年

10 郎红;小流域山洪预警系统嵌入式数据汇聚平台的设计[D];东北林业大学;2013年

本文编号：2884125