基于Mesos的分布式计算资源调度研究与应用

发布时间：2018-01-12 11:44

  本文关键词：基于Mesos的分布式计算资源调度研究与应用　出处：《昆明理工大学》2017年硕士论文　论文类型：学位论文

  更多相关文章： MUSER 分布式计算 科学数据处理 Mesos 资源调度

【摘要】：现代天文望远镜产生的数据量非常大,而且增长迅速。因此如何快速、高效的处理这些骤增的数据成为天文学研究中的一项主要问题。为了解决此问题,我国天文科学家提出了明安图射电频谱日像仪(MingantuU Spectral Radioheliograph,MUSER)。本文根据MUSER科学数据处理系统的需求,结合新兴分布式集群资源管理系统Mesos来解决MUSER中天文数据处理的难题。主要完成工作如下三点:一、从MUSER的分布式计算需求出发,对MUSER在分布式集群中的数据处理进行需求分析,然后设计了一种分布式框架OpenCluster,用于在海量天文数据处理中的计算。二、在分布式框架OpenCluster设计的基础之上,对MUSER分布式集群中的资源调度需求进行分析,然后基于Mesos的关键技术实现其在MUSER分布式集群中的应用,从而完成OpenCluster中Mesos集群调度模式的开发。三、针对Mesos中的DRF算法在MUSER分布式集群中的缺陷,从而提出一种基于DRF算法改进的M-H-DRF算法。最后对此算法的性能进行对比测试,证明了优化后的算法在MUSER分布式集群中有良好的效果。整体来看,本文结合MUSER海量天文数据处理的需求,开发了一个轻量级的分布式框架OpenCluster,并将其与Mesos结合完成Mesos集群调度模式的设计,最后对Mesos中的资源调度算法DRF进行改进,使其更适合MUSER分布式集群。总之,Mesos在射电天文数据处理系统中的研究应用将为我国天文科学研究提供良好的保障。
[Abstract]:So how to deal with these sudden data quickly and efficiently becomes a major problem in astronomy research . In order to solve this problem , Chinese astronomical scientists have proposed Mingantuu Spectral Radiographs graph ( MUSER ) . In this paper , according to the requirements of MUSER scientific data processing system , the problem of astronomical data processing in MUSER is solved by combining with the emerging distributed cluster resource management system Mesos .

【学位授予单位】：昆明理工大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：P111

【参考文献】

相关期刊论文 前5条

1 董春涛;李文婷;沈晴霓;吴中海;;Hadoop YARN大数据计算框架及其资源调度机制研究[J];信息通信技术;2015年01期

2 王威;颜毅华;陈志军;;CSRH阵列设计研究[J];天文研究与技术;2013年01期

3 刘东浩;颜毅华;李沙;王威;;厘米—分米波射电日像仪天线阵基线测量[J];天文研究与技术;2013年02期

4 颜毅华;张坚;陈志军;姬国枢;王威;刘飞;;关于太阳厘米—分米波段频谱日像仪研究进展[J];天文研究与技术.国家天文台台刊;2006年02期

5 王威;颜毅华;张坚;姬国枢;陈志军;;CSRH阵列设计研究及馈源设计的初步考虑[J];天文研究与技术.国家天文台台刊;2006年02期

相关会议论文 前1条

1 谭宝林;;中国厘米分米波射电频谱日像仪科学目标[A];太阳射电天文学——新一代射电频谱日像仪建设进展研讨会摘要集[C];2010年

相关硕士学位论文 前1条

1 陈泰燃;基于远程对象技术的分布式科学数据计算框架研究[D];昆明理工大学;2016年

，

本文编号：1414137