基于Spark的分布式分子模拟数据分析系统

发布时间：2017-03-29 06:10

  本文关键词：基于Spark的分布式分子模拟数据分析系统，由笔耕文化传播整理发布。

【摘要】：分子模拟(Molecular Simulation)是21世纪初发展起来的一门技术,它是计算机科学和基础自然科学相结合产生的产物。随着分子模拟相关研究的不断深化以及借助分子模拟来进行研究的不断深入,分子模拟过程中的模型越来越复杂。每次进行分子模拟之后所产生的数据量是非常巨大的。而分子模拟的关键在于对分子模拟所产生的数据进行分类、提取、分析,进而获取到对实验有用的数据与结果。现有的分子模拟数据分析系统通常是分子模拟系统的一部分。在之前,由于实验的规模比较小,分子模拟相关技术处于初级阶段等原因,故而分子模拟产生的数据量比较小,现有的分子模拟数据的分析模式能够有效而快速的获取到科研人员所需要的数据。但是,随着分子模拟所产生的数据量的不断增长,达到“大数据”级别的容量时,在一次分子模拟之后产生的数据量达到GB甚至是TB级别时,运用传统的分子模拟系统进行处理时,这种模式的弊端就显而易见了。在现有的处理模式之下,当用户发送一条查询之后,系统需要根据查询所依赖的相关数据,首先对全部数据进行扫描,进而定位到所需的数据,然后将所需要的数据全部装载进入内存,最后才能对相关的数据进行处理来获取所需数据。当这一条查询过后,用户发送一条新的信息,系统就需要重复这样一轮的动作。由于所操作的数据量是非常巨大的,这样的模式会导致非常巨大的I/O以及CPU负载。在当前一般的用于科研计的算机硬件设备条件之下,来执行如此的操作,效率将是非常低下的。Apache Spark是当前大数据处理平台之中的明星。经过6年的发展,Spark现在已经成为了时下最热门的分布式大数据处理平台。Spark技术核心是内存计算技术,即主要使用了内存计算技术来达到加速的目的。Spark作为一项如此高效的大数据处理平台,将其引入分子模拟所产生的海量数据的分析之中将极大的提高分子模拟数据分析的效率,促进基础自然学科的研究。为了达到此目标,我们设计实现了基于Spark的分布式分子模拟数据分析系统。通过结合分子模拟的具体需求,对Spark进行了有针对性的订制,使之能够在处理分子模拟数据时保持其高效快速的特性而又能满足分子模拟数据处理时的特殊需要。本系统主要从三个层面着手进行订制,包括Apache Spark层,分子模拟RDD层和分子模拟查询处理层。并且系统中使用的Cache机制,可以将中间状态的计算结果保存在内存或者硬盘之中,在下一次的使用时免去了重复计算和从硬盘装载进入内存的过程,极大的减轻了CPU负载和I/O负载。在本文最后,我们使用本系统进行的实验,根据实验结果,充分证明了本系统的有效性和高效性。
【关键词】：分子模拟 Apache Spark 大数据 分布式计算 高性能计算
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要4-6
• abstract6-10
• 第1章 绪论10-15
• 1.1 研究背景10-11
• 1.2 研究现状11-13
• 1.3 主要工作与组织结构13-15
• 第2章 APACHE SPARK分布式大数据处理平台15-23
• 2.1 SPARK生态系统15-17
• 2.1.1 Spark SQL16-17
• 2.1.2 Spark Streaming17
• 2.1.3 MLlib17
• 2.1.4 GraphX17
• 2.2 SPARK编程模型17-21
• 2.2.1 分布式弹性数据集（RDDs）18-20
• 2.2.2 Spark处理过程20-21
• 2.3 共享变量21-23
• 第3章 分子模拟的数据特点以及常用查询23-27
• 3.1 分子模拟数据23-25
• 3.2 分子模拟数据查询25-27
• 第4章 系统构架以及实现细节27-37
• 4.1 整体架构27-28
• 4.2 系统流程28-31
• 4.3 分类查询31-34
• 4.3.1 转动惯量31-32
• 4.3.2 质量之和32
• 4.3.3 质心32-33
• 4.3.4 偶极矩33
• 4.3.5 回转半径33-34
• 4.3.6 空间距离直方图34
• 4.4 缓存（CACHE）34-37
• 第5章 实验结果与分析37-42
• 5.1 实验平台37
• 5.2 实验数据37-38
• 5.3 结果分析38-42
• 第6章 总结与展望42-44
• 6.1 总结42
• 6.2 展望42-44
• 参考文献44-49
• 作者简介49-50
• 致谢50

【相似文献】

中国期刊全文数据库 前4条

1 刘英;王芳;谭天伟;;分子模拟在分子印迹技术中的应用[J];化工学报;2006年10期

2 杨潞霞;宁淑丽;付一政;;Linux环境下的高性能分子模拟计算集群平台的构建[J];现代制造技术与装备;2011年01期

3 刘欣,石碧,陆忠兵;分子模拟软件CERIUS~2及其在材料科学中的应用[J];高分子材料科学与工程;2002年04期

4 ;[J];;年期

中国重要会议论文全文数据库 前10条

1 焦勇;韩大雄;杨频;;金属离子离子影响Aβ多肽聚集机理的分子模拟[A];中国化学会第二十五届学术年会论文摘要集（上册）[C];2006年

2 莫尊理;乔丽君;陈红;郭瑞斌;孙亚玲;;纤维素/二氧化硅复合材料的分子模拟[A];中国化学会第26届学术年会理论化学方法和应用分会场论文集[C];2008年

3 徐为人;汤立达;符海霞;刘冰妮;刘鹏;;分子模拟与新药虚拟评价[A];全国第十一届生化与分子药理学学术会议论文集[C];2009年

4 高品;黄光速;张艳芳;王建;陈猛猛;;聚丙烯酰胺交联反应的分子模拟[A];2007年全国高分子学术论文报告会论文摘要集（上册）[C];2007年

5 胡文兵;;蒙特卡罗分子模拟的物理背景探讨[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

6 刘清芝;杨登峰;胡仰栋;;水和盐分子在反渗透膜内扩散过程的分子模拟[A];中国化学会第26届学术年会理论化学方法和应用分会场论文集[C];2008年

7 陆小华;;受限条件下流体的分子模拟[A];中国化学会第十五届全国化学热力学和热分析学术会议论文摘要[C];2010年

8 李丰;杨春炜;孙淮;;力场参数的数据库整合[A];中国化学会第27届学术年会第15分会场摘要集[C];2010年

9 刘志平;吴晓萍;汪文川;黄世萍;;离子液体-乙腈混合物的分子模拟[A];第一届全国化学工程与生物化工年会论文摘要集(上)[C];2004年

10 赵秦峰;王大喜;高金森;徐春明;;分子模拟于ZSM-5的应用进展[A];第九届全国化学工艺学术年会论文集[C];2005年

中国重要报纸全文数据库 前2条

1 石克轩;石科院分子模拟研究掀新页[N];中国石化报;2000年

2 蒋华良 中国科学院上海药物研究所研究员;分子模拟的普及和应用[N];文汇报;2013年

中国博士学位论文全文数据库 前10条

1 沈明云;基于Rho激酶的药物设计和分子模拟研究[D];苏州大学;2015年

2 宋梦;丁腈橡胶复合材料的动态力学性能分析及分子模拟研究[D];北京化工大学;2015年

3 洪燕君;分子模拟在药物代谢和血浆蛋白结合中的应用[D];浙江大学;2011年

4 孙命;分子模拟在生命有机磷化学中的应用[D];清华大学;2004年

5 王三跃;金属—有机骨架材料中流体吸附性质的量化计算与分子模拟研究[D];北京化工大学;2007年

6 刘光增;金、铂、铜单晶面上自组装单层膜的ECSTM与分子模拟研究[D];山东大学;2006年

7 薛春瑜;金属—有机骨架材料中流体吸附与扩散的分子模拟研究[D];北京化工大学;2009年

8 朱红;G-quadruplex结构和稳定性的分子模拟研究[D];中国科学技术大学;2015年

9 戴伟民;人类苦味受体的分子模拟研究[D];南京大学;2011年

10 韩大雄;分子模拟研究老年痴呆致病蛋白结构以及基于酶结构的药物设计[D];山西大学;2004年

中国硕士学位论文全文数据库 前10条

1 解媛哲;量热法及分子模拟研究药物结构类似物与蛋白的相互作用[D];郑州大学;2015年

2 王海鸿;含氧杂环的噻唑—吡唑类衍生物设计、修饰与生物活性评价[D];南京大学;2014年

3 李一;中结合苯乙烯含量丁苯橡胶的结构性能分析及分子模拟研究[D];北京化工大学;2015年

4 刘婷婷;光谱法和分子模拟研究替尼类药物与生物大分子的相互作用[D];浙江工业大学;2015年

5 陆磊刚;烷烃分子在MCM-41中吸附和扩散的分子模拟[D];浙江工业大学;2015年

6 吕程;用分子模拟的方法研究多组元系统的汽液相平衡[D];天津大学;2014年

7 李欢;分子模拟噻吩/苯在新型骨架材料中的吸附[D];扬州大学;2015年

8 侯俊烨;DPC相关合成体系溶解度的分子模拟[D];武汉工程大学;2015年

9 侯涛;基于Spark的分布式分子模拟数据分析系统[D];吉林大学;2016年

10 牟晓辉;丁二酰亚胺无灰分散剂作用机理的分子模拟研究[D];石油化工科学研究院;2000年

  本文关键词：基于Spark的分布式分子模拟数据分析系统，由笔耕文化传播整理发布。

，

本文编号：273824