Web空间环境数据采集服务系统的架构研究

发布时间：2017-03-23 11:06

  本文关键词：Web空间环境数据采集服务系统的架构研究，，由笔耕文化传播整理发布。

【摘要】：空间环境及其扰动不仅影响卫星、通讯系统、导航系统的正常运行,而且在载人航天工作中扮演着重要角色。预报空间环境的变化,已经成为人类进行航天活动的前提基础。空间环境预报需要从赤道到极区的全球观测数据,这不仅需要接收地基台站的连续观测数据,而且需要在空间不同区域进行的空间直接探测数据。既需要实时数据也需要历史数据。而web作为一个浩瀚的海量信息源,也是空间环境预报的重要数据来源。web信息源具有显著的分布性、异构性、动态性和开放性。其数据采集需要从指定网站抓取所需的非结构化信息数据,分析处理后存储为统一格式的本地数据文件或直接存入本地数据库,最终形成统一的领域数据资源。web空间环境数据来源复杂,归类困难。若采用手动复制粘贴的方式,不但费时费力,而且数据的准确率低,完整度差,一致性弱,所以建立一套自动化运行、业务化采集的空间环境数据采集服务系统(Space Environment Data Gather Service System,简称SEDGSS)有助于我国空间环境预报的研究与发展。本文首先探讨传统的web信息抽取系统应用于web空间环境数据采集的局限性,然后提出了一个基于Petri网的信牌驱动式web数据采集模型,最后将其应用于空间环境数据采集服务系统架构的设计与实现中。本文取得的研究成果主要包括:(一)针对数据源复杂、实时性强、准确性高和数据类型多样的web空间环境数据采集任务,提出了一个基于Petri网的信牌驱动式web数据采集模型。(二)利用基于Petri网的信牌驱动式web数据采集模型,采用自顶向下、模块化的设计原则对空间环境数据采集服务系统的架构进行了应用研究,并详细设计为数据源配置子系统、任务控制子系统和任务处理子系统。(三)根据空间环境数据采集服务系统的架构设计,对各个子系统进行了集成研究。对多类型空间环境数据任务的采集工作进行了调度优化,提出了一个混合优先级的多类型空间环境数据采集任务调度算法。
【关键词】：空间环境数据 Petri网 信牌驱动式 web数据采集模型 空间环境预报 架构研究
【学位授予单位】：中国科学院国家空间科学中心
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP274.2
【目录】：

• 摘要5-6
• ABSTRACT6-12
• 第1章 绪论12-20
• 1.1 研究背景及意义12-17
• 1.1.1 研究背景12-13
• 1.1.2 相关概念13-14
• 1.1.3 国外研究现状14-15
• 1.1.4 国内研究现状15-16
• 1.1.5 研究意义16-17
• 1.2 本文工作与创新点17-19
• 1.2.1 本文工作17-18
• 1.2.2 创新点18-19
• 1.3 本文组织结构19-20
• 第2章 WEB空间环境数据概述20-26
• 2.1 WEB空间环境数据背景20-21
• 2.2 数据特点21-23
• 2.2.1 数据来源复杂、数据量大21-23
• 2.2.2 实时性强、准确性要求高23
• 2.3 数据分类23
• 2.4 数据采集方式23-25
• 2.5 小结25-26
• 第3章 信牌驱动式WEB数据采集模型26-32
• 3.1 PETRI网简介26
• 3.2 模型设计26-28
• 3.3 模型定义28-30
• 3.4 小结30-32
• 第4章 WEB空间环境数据采集服务系统的架构研究32-42
• 4.1 架构需求分析32-33
• 4.2 架构总体设计33-34
• 4.3 架构详细设计34-40
• 4.3.1 数据源配置子系统设计35-36
• 4.3.2 任务控制子系统设计36-38
• 4.3.3 任务处理子系统设计38-40
• 4.4 小结40-42
• 第5章 混合优先级的多类型空间环境数据采集任务调度算法42-52
• 5.1 调度算法概述42-45
• 5.1.1 先来先服务调度算法42-43
• 5.1.2 短作业（进程）优先调度算法43
• 5.1.3 基于优先权的调度算法43-44
• 5.1.4 最高响应比优先调度算法44
• 5.1.5 轮询调度算法44
• 5.1.6 多级反馈队列调度算法44-45
• 5.2 混合优先级的多类型空间环境数据采集任务调度算法45-51
• 5.2.1 Web空间环境数据采集任务分析设计45-47
• 5.2.2 算法描述47-48
• 5.2.3 算法定义48-51
• 5.3 小结51-52
• 第6章 系统实验52-68
• 6.1 系统实现52
• 6.2 实验流程52-55
• 6.2.1 Dst数据校验处理方法实现53-54
• 6.2.2 基于Https协议的数据采集方法实现54-55
• 6.3 实验结果55-67
• 6.3.1 数据源配置子系统运行界面55-58
• 6.3.2 Dst数据采集运行结果58-60
• 6.3.3 碎片数据采集运行结果60
• 6.3.4 混合优先级的多类型空间环境数据采集任务调度算法运行结果60-67
• 6.4 小结67-68
• 第7章 总结与展望68-70
• 7.1 工作总结68-69
• 7.2 进一步工作设想69-70
• 参考文献70-74
• 致谢74-75
• 发表文章目录75

【相似文献】

中国期刊全文数据库 前10条

1 ;《数据采集与处理》已成立第五届编委会[J];数据采集与处理;2000年03期

2 ;数据采集与处理2005年(第20卷1一4期)总目次[J];数据采集与处理;2005年04期

3 ;降低数据采集的成本[J];电子测量技术;2005年01期

4 谷波;;数据采集积极性不高[J];施工企业管理;2012年04期

5 ;致谢[J];数据采集与处理;2012年06期

6 ;数据采集与处理2012年(第27卷1～6期)总目次[J];数据采集与处理;2012年06期

7 王丽;;通信计费数据采集网络的模式探讨[J];科技传播;2013年09期

8 ;《数据采集与处理》1987年总目录[J];数据采集与处理;1987年03期

9 ;《数据采集与处理》1988年总目录[J];数据采集与处理;1988年03期

10 ;1995年《中国电子科技文摘》收录1994年《数据采集与处理》文摘情况[J];数据采集与处理;1996年02期

中国重要会议论文全文数据库 前10条

1 陈福;周树杰;林小竹;杨跃翔;;应用嵌入式系统进行数据采集的研究[A];2004全国测控、计量与仪器仪表学术年会论文集（下册）[C];2004年

2 王艳萍;李道武;章志明;李可;陈亚微;高俊雄;单保慈;魏龙;;用于小动物PET的数据采集和符合系统[A];第九届全国正电子谱学会议论文集[C];2005年

3 陈青;;侦听模式在数据采集中的应用[A];中国计量协会冶金分会2007年会论文集[C];2007年

4 蔡尹楚;王立校;;多种新型数据采集方式在化工企业能源数据采集中的组合应用[A];中国计量协会冶金分会2014年会暨能源计量与绿色冶金论坛论文集[C];2014年

5 周威;陈五一;;切削数据采集研究[A];大型飞机关键技术高层论坛暨中国航空学会2007年学术年会论文集[C];2007年

6 王磊;马婉丽;姚成虎;;U盘功能在数据采集仪器中的应用和设计[A];第二届全国信息获取与处理学术会议论文集[C];2004年

7 王泽保;;智能化数据采集记录仪[A];1996年中国智能自动化学术会议论文集（下册）[C];1996年

8 迟晓珠;王劲松;;三维加速度数据采集及通讯系统[A];2000全国力学量传感器及测试、计量学术交流会论文集[C];2000年

9 孙嘉兴;刘艳侠;;数据采集中微弱信号处理[A];中国仪器仪表学会第三届青年学术会议论文集（下）[C];2001年

10 华泽玺;王长林;肖鹏;;改善传统通信模式提高数据采集的实时性[A];四川省通信学会2004年通信技术论文集(一)[C];2004年

中国重要报纸全文数据库 前10条

1 浙江省杭州市桐庐县烟草专卖局（分公司） 张韬;客户经理数据采集“小贴士”[N];东方烟草报;2011年

2 佟伟;做好数据采集 强化税收征管[N];长白山日报;2005年

3 葛学忠;我州旅游数据采集任务如期完成[N];民族日报;2008年

4 记者 温跃邋朱锋 通讯员 姜春;人行威海中心支行创新贷款数据采集流程见实效[N];金融时报;2008年

5 刘亚迅　特约记者 方立华;数据采集表评判训练短长[N];解放军报;2010年

6 胡涛;源头数据采集单轨运行[N];中国石化报;2010年

7 王显锋;兰西国税局力争数据采集“开门红”[N];黑龙江经济报;2005年

8 孙红伟 特约记者 程永亮;34个数据采集组嵌入演练场[N];解放军报;2012年

9 张黎明 马敬辉;让胡路国税局做好动态数据采集准备工作[N];黑龙江经济报;2005年

10 张黎明 马敬辉;让胡路国税局动态数据采集进展顺利[N];黑龙江经济报;2005年

中国博士学位论文全文数据库 前6条

1 邵苏杰;面向智能配用电网数据懫集的流量调度机制[D];北京邮电大学;2015年

2 马英杰;基于3GS的核勘查数据采集及处理系统研究[D];成都理工大学;2010年

3 齐林;面向可追溯的物联网数据采集与建模方法研究[D];中国农业大学;2014年

4 刘传波;列车纵向冲动的机理研究及检测仪器的开发[D];武汉理工大学;2009年

5 牛田野;特殊等离子体环境物理信息获取与处理的研究[D];中国科学技术大学;2008年

6 李忠龙;基于现有传感器的桥梁无线检测技术的研究[D];哈尔滨工业大学;2008年

中国硕士学位论文全文数据库 前10条

1 胡延凯;公共建筑能耗数据懫集与信息处理一体化集成技术研究[D];山东建筑大学;2015年

2 张丽萍;雷电三维电场数据采集与分析[D];南京信息工程大学;2015年

3 张元;物流运输跟踪数据采集与可视化监控的研究与实现[D];西南交通大学;2015年

4 吴涛;基于宽带卫星的海洋海事信息数据懫集装置研发[D];集美大学;2015年

5 梁佩;实时数据采集系统方案设计与实现[D];西南交通大学;2015年

6 李晓红;基于SOA架构的中职教育数据采集与KPI决策支持系统的构建[D];复旦大学;2013年

7 徐硕硕;基于LabVIEW的燃气能源瞬态数据采集与处理[D];北华航天工业学院;2015年

8 隋玉涛;惠民县民生信息数据采集与分析系统的设计与实现[D];山东大学;2015年

9 李彬雅;基于智能手机的泊车位判寻系统设计[D];福建师范大学;2015年

10 王政;4通道数据采集中频接收机的设计和实现[D];哈尔滨工业大学;2015年

  本文关键词：Web空间环境数据采集服务系统的架构研究，由笔耕文化传播整理发布。

本文编号：263565