基于工作流的科学大数据查询处理技术研究

发布时间：2018-03-04 00:10

  本文选题：科学大数据　切入点：SciDB　出处：《贵州大学》2015年硕士论文　论文类型：学位论文

【摘要】：近年来,随着科学技术的快速发展,科学实验仪器和科学观测仪器的精度不断得到提高,领域科学家得到的可以用于科学分析的数据,其规模是不断变大;同时,由于科学分析的深度的不断推进,科学分析计算的规模也在不断的变大。如何提高领域学者进行科学大数据查询的效率是一个非常有研究意义的工作。本文构建了一个轻量级的云平台,并在其上搭建了一个可以用于科学数据查询和管理的SciDB集群。在此基础上,本文的主要研究内容包括:(1)科学大数据的存储和管理技术。针对目前国内外科学大数据查询处理的研究现状,本论文通过研究MapReduce框架,以及现有的科学数据库系统,提出使用SciDB作为科学大数据存储和管理的工具。(2)科学数据库数据加载技术。SciDB的数据加载响应时间随着数据量的增加急剧增长,针对这一情况,本论文提出了一种新型的数据加载技术。(3)采用工作流的思想,简化复杂查询语句的书写,并设计了一个简单的基于工作流的科学数据查询系统的原型系统。(4)针对基于SciDB的批量工作流的调度问题,在本文中提出了相应的优化算法以及进行了一系列的性能评估实验。
[Abstract]:In recent years, with the rapid development of science and technology, the accuracy of scientific experimental instruments and scientific observation instruments has been continuously improved. As the depth of scientific analysis continues to advance, The scale of scientific analysis and calculation is also increasing. How to improve the efficiency of scientific big data query is a very significant work. This paper constructs a lightweight cloud platform. A SciDB cluster can be used to query and manage scientific data on it. The main research contents of this paper include: 1) the storage and management technology of scientific big data. According to the current research situation of scientific big data query processing at home and abroad, this paper studies the MapReduce framework and the existing scientific database system. Using SciDB as a tool for storing and managing scientific big data, the data loading response time of scientific database data loading technology .SciDB increases sharply with the increase of data volume. In this paper, a new data loading technique, I. E. data loading technology, is proposed. The idea of workflow is used to simplify the writing of complex query sentences. In order to solve the scheduling problem of batch workflow based on SciDB, a simple prototype system of scientific data query system based on workflow is designed. In this paper, the corresponding optimization algorithm is proposed and a series of performance evaluation experiments are carried out.
【学位授予单位】：贵州大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 李华,李燕,姚文琳;工作流管理[J];山东轻工业学院学报(自然科学版);2000年04期

2 刘建勋,李仁发,张申生;工作流管理系统及其在邮电号线管理中的应用[J];计算机工程与应用;2001年18期

3 汪涛,吴耿锋,黄力芹;工作流管理的现状和未来趋势[J];小型微型计算机系统;2001年02期

4 汪涛,黄力芹,吴耿锋;工作流管理的发展历程和趋势[J];计算机工程与科学;2001年01期

5 罗海滨,范玉顺,吴澄;工作流合理性验证中的事件平衡分析[J];软件学报;2002年08期

6 周尊国 ,田伟;工作流管理系统在电力企业管理信息系统中的应用[J];山东电力技术;2002年02期

7 黄钧 ,范永全 ,郭勇;工作流管理系统在建设项目管理中的应用[J];微型机与应用;2002年09期

8 张志君,范玉顺;一种高性能的分布式工作流系统实现框架[J];计算机集成制造系统-CIMS;2003年06期

9 赵卫东,戴伟辉;基于角色的跨组织工作流研究[J];系统工程与电子技术;2003年08期

10 曾颖;工作流技术在电信行业中应用的探讨[J];福建电脑;2005年05期

相关会议论文 前10条

1 卓蔚;陈思;张侃弘;;工作流管理技术浅谈——如何实现企业业务信息化的工作流管理[A];上海烟草系统2002年度学术论文选编[C];2002年

2 李晖;王海洋;王文;;面向事务的工作流活动模型[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

3 连杰鑫;刘家茂;顾宁;;基于协作依赖的工作流过程优化[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

4 李新;薛永生;;可重构工作流系统设计方法研究[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

5 叶寿生;汪涛;郭永林;;LTFP intelliFlow~汶工作流管理系统[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

6 冯波;徐建良;;支持动态变化的工作流元模型的研究与应用[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

7 丁华;王秀坤;周永晖;;基于改进移动模型的迁移工作流研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

8 崔立真;王海洋;;基于主动过程视图的工作流管理和监控[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 欧阳青;;工作流技术在高校教育管理系统中的应用研究[A];第十八届玻璃钢/复合材料学术年会论文集[C];2010年

10 吕刚;王坚;严隽薇;董志斌;;工作流技术及其在制造企业中的应用研究[A];第二十届中国控制会议论文集（下）[C];2001年

相关重要报纸文章 前10条

1 庄志澄;成功实施工作流管理系统[N];中国计算机报;2003年

2 中国石油勘探开发研究院西北分院 柏东明　曾丽花 郭以东;定制企业工作流服务[N];计算机世界;2011年

3 中国建设银行湖北分行信息技术部李涛、娄国伟、曾钦祥、吴安平、童海涛;实现多任务域工作流[N];计算机世界;2004年

4 王沛霖;驾驭流程 创造价值[N];中国计算机报;2004年

5 李农、张京辉;客服中心上档次依赖工作流管理系统[N];中国计算机报;2002年

6 何吟;“行业”标签让SunFlow更醒目[N];计算机世界;2004年

7 优利系统（中国）有限公司 倪佳;影像与工作流技术在银行业的应用[N];网络世界;2001年

8 邹洪强;应用系统的另类整合[N];计算机世界;2005年

9 中国软件评测中心 于春玲;企业业务流程管理系统的新亮点[N];中国计算机报;2004年

10 山西焦煤集团驻深圳办事处 刘鹏;基于企业过程建模的工作流管理系统研究[N];山西科技报;2002年

相关博士学位论文 前10条

1 刘怡;基于工作流的连锁超市生鲜货品营运流程管理研究[D];华中科技大学;2007年

2 刘英博;工作流运行时人员智能分配技术研究[D];清华大学;2008年

3 王睿;面向目标的迁移工作流主动服务方法研究[D];山东大学;2009年

4 吴修国;面向目标的迁移工作流建模方法研究[D];山东大学;2010年

5 丁柯;网络分布计算中的事务工作流研究[D];中国科学院研究生院（软件研究所）;2003年

6 肖郑进;面向企业应用的工作流精简建模研究[D];浙江大学;2006年

7 柯飞帆;面向分布应用的工作流管理系统研究与实现[D];南京航空航天大学;2006年

8 田珂;开放网络环境下工作流管理系统的技术研究[D];电子科技大学;2006年

9 程杰;迁移工作流过程分解及其规划方法研究[D];山东大学;2011年

10 高昂;基于多种视角的工作流挖掘技术研究[D];北京科技大学;2010年

相关硕士学位论文 前10条

1 王世锋;基于客户交互关系的服务工作流优化技术研究[D];中南大学;2008年

2 严刚;分布式工作流事务处理建模与设计[D];上海交通大学;2009年

3 李敬刚;基于活动信息传递的工作流验证的研究与实现[D];大连理工大学;2010年

4 彭永;基于移动Agent工作流的研究与实现[D];哈尔滨工程大学;2010年

5 梁晓明;工作流技术及其在外商投资审批（绿色通道）中的应用[D];机械科学研究院;2002年

6 段江波;工作流管理系统的安全研究[D];大连理工大学;2005年

7 赵淳;一种可适应性工作流的研究与实现[D];中国科学院研究生院（软件研究所）;2005年

8 张海;工作流技术在法院案件管理系统中的应用[D];河海大学;2007年

9 周文斌;基于角色访问控制的工作流管理系统的信息安全研究[D];同济大学;2007年

10 杨环;分散式跨组织工作流执行模型的研究[D];浙江大学;2012年

，

本文编号：1563285