云计算环境下面向MPI应用的服务部署系统

发布时间：2019-10-08 17:30

【摘要】：随着虚拟化技术和云计算技术的发展，越来越多的科学计算应用运行在云计算资源之上。MPI编程模型是一种消息传递编程模型，大多数科学计算应用都是基于这种消息传递编程模型的高性能计算应用，其对网络I/O负载较为敏感。MPI应用是一类广泛应用的由多个进程协同工作的并行计算应用，在云计算环境下，其进程运行在多个不同的虚拟机之中。在IaaS模式下，通常采用虚拟化技术将物理机分割为多个独立的虚拟机，，如何将多个虚拟机部署成为满足MPI应用程序的并行计算环境，以及如何调度组成该并行计算环境的多个虚拟机，是云计算环境下运行MPI应用程序所面临的重要问题。 针对上述这个重要问题，实现了云计算环境下面向MPI应用的服务部署系统，并设计了一种基于网络I/O负载均衡的虚拟机放置算法作为系统的虚拟机调度算法。系统的核心模块面向MPI应用的虚拟集群创建模块解决了IaaS模式下独立虚拟机不能满足MPI应用的问题，并在该模块的基础之上实现了面向MPI应用的作业托管功能。创建面向MPI应用的虚拟集群的基本思路：将虚拟集群所需的组件预先部署到虚拟机镜像中；基于虚拟机模板，调用IaaS的接口创建多个虚拟机，采用SSH远程操作技术动态配置虚拟机中的组件，使其正常工作。基于网络I/O负载均衡的虚拟机放置算法的基本思路：基于监控信息预测MPI应用对网络I/O的消耗；采用二分搜索算法搜索物理节点的网络I/O负载上限，在此限制之下，建立以虚拟机和物理节点为顶点的有向网络图模型，最后基于该模型求解虚拟机放置矩阵。 基于Linux操作系统和Apache平台，采用Python、HTML、JavaScript等语言，实现了云计算环境下面向MPI应用的服务部署系统。功能测试表明：系统实现了创建面向MPI应用的并行计算环境虚拟集群和面向MPI应用的作业托管功能。性能测试表明：与贪心算法进行比较，在作业消耗的计算时间、单位时间内系统总的网络I/O吞吐量、系统的网络I/O负载均衡三个方面，基于网络I/O负载均衡的虚拟机放置算法均有更好的表现。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP302

【相似文献】

相关期刊论文 前10条

1 褚福勇;肖侬;蔡志平;陈彬;;虚拟机备份机制研究[J];计算机工程与科学;2009年09期

2 王冰;;浅谈云计算环境下用户数据的安全保护和隔离[J];硅谷;2011年15期

3 彭彦;鞠磊;方勇;;基于Java智能卡的可信度量模块设计[J];微计算机信息;2009年18期

4 柳青,盖起贤;Java运行系统与Java虚拟机[J];云南大学学报(自然科学版);1997年06期

5 文征,徐成,李仁发;Java技术在嵌入式实时操作系统上的实现[J];科学技术与工程;2005年03期

6 倪晓宇,易红,倪中华,汤文成;基于虚拟机的B/S协同系统的设计[J];计算机集成制造系统-CIMS;2005年02期

7 刘晖;;系统问答[J];电脑迷;2005年05期

8 刘猛;王中生;赵红毅;;基于Honeynet系统的Linux日志记录研究[J];电脑知识与技术(学术交流);2006年36期

9 张振伦;;虚拟机的演化[J];软件世界;2007年13期

10 娟子;;恶意软件瞄准虚拟技术[J];信息系统工程;2008年02期

相关会议论文 前10条

1 孟广平;;虚拟机漂移网络连接方法探讨[A];中国计量协会冶金分会2011年会论文集[C];2011年

2 汝学民;庄越挺;;计算机病毒技术的发展与防范[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年

3 陈晓东;俞承芳;李旦;;基于FPGA的神经网络控制器及其应用[A];第六届全国信息获取与处理学术会议论文集（3）[C];2008年

4 王轶;陈俊辉;;使用VPC2007搭建企业应用和测试平台[A];2007第二届全国广播电视技术论文集2（下）[C];2007年

5 于洋;陈晓东;俞承芳;李旦;;基于FPGA平台的虚拟机建模与仿真[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

6 刘孟全;;服务器虚拟化相关问题分析[A];广西计算机学会2009年年会论文集[C];2009年

7 李永;吴庆波;苏航;;基于虚拟机的动态迁移技术分析和研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

8 李钢;应晶;;C2000语言:一种工业监控组态语言[A];2005中国控制与决策学术年会论文集（下）[C];2005年

9 刘振宇;卢暾;刘铁江;杨根兴;;云计算环境中服务在线质量的评价方法研究[A];第六届中国测试学术会议论文集[C];2010年

10 沈腾飞;马自卫;;基于GridSphere的Eucalyptus后台管理系统研究与实现[A];第十六届全国青年通信学术会议论文集（上）[C];2011年

相关重要报纸文章 前10条

1 ;利用工具解决虚拟机监测难题[N];网络世界;2007年

2 ;虚拟机管理工具仍有改进空间[N];网络世界;2007年

3 ;加强虚拟服务器安全的10个步骤[N];计算机世界;2008年

4 特约作者：聂阳德 钟达文;体验虚拟机的神奇魅力(第B04版)[N];电脑报;2002年

5 江苏 王志军;用好虚拟机VMware[N];电脑报;2002年

6 薛启康;VMware虚拟机的文件级备份[N];中国计算机报;2007年

7 ;BEA发布新版本Java虚拟机[N];人民邮电;2007年

8 电脑商报记者 张戈;趋势科技的一大步[N];电脑商报;2011年

9 编译 沈建苗;虚拟化技术的安全价值[N];计算机世界;2007年

10 河北科技大学 任文霞邋河北经贸大学 王春海;在U盘上定制个人PC[N];中国计算机报;2008年

相关博士学位论文 前10条

1 杜雨阳;虚拟机状态迁移和相变存储磨损均衡方法研究[D];清华大学;2011年

2 陈华才;虚拟化环境中计算效能优化研究[D];华中科技大学;2011年

3 杨柳;云计算环境中基于访问控制模型的用户效用安全优化研究[D];湖南大学;2011年

4 唐遇星;面向动态二进制翻译的动态优化和微处理器体系结构支撑技术研究[D];国防科学技术大学;2005年

5 项君;高效灵活的分布对象计算环境的研究与实现[D];中国人民解放军国防科学技术大学;2001年

6 丁靖宇;面向企业虚拟私有云的虚拟专用网技术研究[D];东华大学;2012年

7 桂春梅;虚拟计算环境下信誉机制关键技术研究[D];国防科学技术大学;2009年

8 杨伟建;面向HDTV信源集成解码芯片的软硬件协同设计研究[D];浙江大学;2001年

9 刘扬;基于Web的区域经济增长分析PSE模式与应用研究[D];华东师范大学;2003年

10 张雪松;软件迷惑技术研究[D];吉林大学;2008年

相关硕士学位论文 前10条

1 王飞;云计算环境下面向MPI应用的服务部署系统[D];华中科技大学;2012年

2 乐伟;云计算环境下虚拟机资源分配及部署策略研究[D];云南大学;2012年

3 王旭;基于能耗约束的虚拟机调度策略研究[D];云南大学;2011年

4 冯伟;多目标优化的虚拟机调度模型与关键算法研究[D];复旦大学;2012年

5 邱华;用于工业自动化设备互联的设备描述语言的定义和实现[D];华东师范大学;2006年

6 褚亚铭;一个教学用微内核操作系统的设计与实现[D];苏州大学;2005年

7 闫玉忠;串行程序并行化技术研究与一种新实现构想[D];西南交通大学;2003年

8 张凯龙;传统OA的Linux中间件平台移植技术及其实现[D];西北工业大学;2003年

9 贾希强;嵌入式数字电视中间件技术研究与实现[D];西北工业大学;2004年

10 李芳;数控系统中嵌入式PLC虚拟机的研究与开发[D];北京工业大学;2005年

本文编号：2546387