海量存储系统集群部署研究

发布时间：2019-06-10 15:56

【摘要】：海量存储系统是目前流行的存储解决方案,很好的解决了大容量,大并发量的数据存取问题。海量存储系统是由一组计算机节点构成的集群。该集群中有两种不同类型的节点,控制节点和数据节点。 要使用集群必须先进行集群部署工作。集群部署不是一个新课题,相反是一个相当有历史背景的课题。正因为这种历史,使得本课题在研究过程中很难有很大的创新。但是,旧的解决方案不能及时跟上现有技术的发展,集群这个古老的概念,现在又显现出了新的气象,旧的技术不能解决新的问题。集群种类众多,结构也都大不相同,现有的一些集群部署解决方案不能很好解决新的类型集群的部署。 本文在此基础之上,提出了一种基于源代码编译的部署方案,能够从根本上解决集群部署中的各种问题。并且由此方案出发,设计一个海量存储集群的部署工具MSSDT。 MSSDT由脚本文件,配置文件和源代码包组成。配置文件负责描述和记录集群本身的特点和集群中节点构成和配置情况,脚本文件描述了软件包的构建过程和安装过程,源代码则是整个工具中核心部分。 而配置文件又分为通用配置文件,由所有节点共享;节点配置文件,描述单个节点的特征。脚本文件包括制作交叉编译,制作安装包,制作系统包,部署服务器配置包及最核心的安装程序构成。源代码包包括基本软件包,开发工具包和专用软件包。 最后由于时间等各种原因,有些想法还未实现,有些实现也不完整。 总之,本文中提出的部署思路是值得继续研究的,可以进一步挖掘,从而做出更加完善的部署工具。
[Abstract]:Mass storage system is a popular storage solution, which solves the problem of large capacity and large concurrency data access. Mass storage system is a cluster composed of a group of computer nodes. There are two different types of nodes in the cluster, control nodes and data nodes. To use a cluster, you must first deploy the cluster. Cluster deployment is not a new topic, on the contrary, it is a subject with a very historical background. Because of this history, it is difficult for this subject to have great innovation in the process of research. However, the old solution can not keep up with the development of the existing technology in time. The ancient concept of cluster is now showing a new weather, and the old technology can not solve the new problems. There are many kinds of clusters and different structures. Some existing cluster deployment solutions can not solve the deployment of new types of clusters. On this basis, this paper proposes a deployment scheme based on source code compilation, which can fundamentally solve all kinds of problems in cluster deployment. And based on this scheme, a deployment tool MSSDT. for mass storage cluster is designed. MSSDT consists of script files, configuration files and source code packages. The configuration file is responsible for describing and recording the characteristics of the cluster and the composition and configuration of the nodes in the cluster. The script file describes the construction process and installation process of the software package, and the source code is the core part of the whole tool. The configuration file is divided into general configuration file, which is shared by all nodes, and the node configuration file describes the characteristics of a single node. The script file includes making cross-compilation, making installation package, making system package, deploying server configuration package and the core installation program. Source code package includes basic software package, development kit and special software package. Finally, due to a variety of reasons such as time, some ideas have not yet been realized, and some of them are incomplete. In a word, the deployment ideas put forward in this paper are worthy of further study, which can be further excavated so as to make more perfect deployment tools.
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 张骞中;;squid透明代理服务器的设计及验证[J];科技促进发展(应用版);2011年04期

2 刘立新;任海东;;关于Pro/E环境变量设置的探讨[J];张家口职业技术学院学报;2011年02期

3 王博;李先国;张晓;;Lustre文件系统的性能优化研究[J];微型电脑应用;2011年05期

4 金崇英;李小勇;白英彩;;海量存储系统的发展与展望[J];计算机应用与软件;2011年08期

5 友文;;用好HP本本省电技术[J];电脑知识与技术(经验技巧);2011年06期

6 周运金;;基于UG的装配工程图的创建[J];装备制造技术;2011年08期

7 ;蓝牙4.0体温计和心率监测器产品即将面世[J];电子与电脑;2011年07期

8 张雄;刘峰;;Ovation控制系统端子接线图自动生成系统[J];计算机应用;2011年S1期

9 何磊;田霞;韩永进;胡鹏;李铁成;;IEC 61850配置文件工程化测试探讨[J];电力系统保护与控制;2011年16期

10 杨雷;李先国;张晓;;通用存储网络系统的能耗研究[J];计算机工程;2011年18期

相关会议论文 前10条

1 程耀东;汪璐;黄秋兰;郑伟;;高性能海量存储系统研究[A];第十五届全国核电子学与核探测技术学术年会论文集[C];2010年

2 孙广路;张洛什;薛一波;;秸秆资源海量存储系统的设计与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

3 朱雷;袁兆山;潘玲;;基于页面模板和配置文件的web页面生成方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

4 姜利;张研;邓胜江;王晓冬;;用配置信息定义票面和初始化ZT型制票机[A];铁道科学技术新进展——铁道科学研究院五十五周年论文集[C];2005年

5 杨公义;陈虎;陈飞;;基于Spring+Struts+Hibernate的用户管理模块[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（上册）[C];2008年

6 端文龙;李建中;;邯钢冷轧重卷线传动系统SYNCBUS网络浅析[A];第七届(2009)中国钢铁年会论文集（下）[C];2009年

7 刘一童;;使用XStream实现Java对象与XML转换[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年

8 金兆毅;袁兆山;;基于Spring架构向已有Web软件注入方面[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

9 石磊;陈朔鹰;;基于MVC设计模式的Struts框架的研究[A];Java技术及应用的进展——第七届中国Java技术及应用交流大会文集[C];2004年

10 蔡春雷;葛鑫;徐俊杰;黎洋;;ComTrade格式数据文件的解析、显示及分析[A];中国计量协会冶金分会2009年年会论文集[C];2009年

相关重要报纸文章 前10条

1 飘零雪;挖掘配置文件的实用功能[N];电脑报;2003年

2 记者 柳悦;本市蓝鲸海量存储项目获批[N];天津日报;2008年

3 本报记者 郭涛;国产海量存储系统的新突破[N];中国计算机报;2011年

4 陕西 张树忠;寻找“丢失”的光驱[N];电脑报;2004年

5 记者陈勇;津产海量存储系统打入好莱坞[N];中国技术市场报;2010年

6 ;迁移到Struts 2.0[N];计算机世界;2007年

7 华为技术有限公司 钱程;网管数据中心的意义与价值[N];通信产业报;2007年

8 上海 王巍;在Bash环境中设置热键[N];电脑报;2001年

9 信息产业部电子第二十二研究所青岛分所 郎锐;在VC下访问INI文件[N];计算机世界;2002年

10 清水编译;Apache 2.2.0带来了什么？[N];计算机世界;2006年

相关博士学位论文 前10条

1 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年

2 王宇德;海量存储系统中数据分布化及其关键技术的研究[D];华中科技大学;2010年

3 王宇德;海量存储系统中数据分布进化及其关键技术的研究[D];华中科技大学;2010年

4 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年

5 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年

6 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年

7 陈伟男;基于FPGA的可重构系统及CAD技术研究[D];复旦大学;2008年

8 李超;面向海量数字资源管理的FC-SAN性能分析与监测[D];清华大学;2006年

9 弓岱伟;先进控制与优化软件的设计及在电站锅炉汽温预测控制中的应用[D];中国科学技术大学;2008年

10 罗光坤;Morlet小波变换理论与应用研究及软件实现[D];南京航空航天大学;2007年

相关硕士学位论文 前10条

1 贾昭元;海量存储系统集群部署研究[D];上海交通大学;2012年

2 李超;海量存储系统的性能管理与监测方法研究[D];上海交通大学;2012年

3 吴婷;海量存储系统中元数据管理机制的研究[D];江苏大学;2010年

4 朱俊洁;海量存储系统中高可用服务管理的设计与实现[D];上海交通大学;2011年

5 宋丽娜;海量存储系统中数据分级存储的关键技术研究[D];国防科学技术大学;2011年

6 徐伟;网络存储在高校数字图书馆的设计与实现[D];南昌大学;2010年

7 王皓;BlueOcean海量存储系统客户端的设计与实现[D];上海交通大学;2011年

8 闫鹤;海量存储系统Web代理服务器的设计与实现[D];上海交通大学;2012年

9 周凡夫;海量存储系统中并行文件系统的测试与优化[D];上海交通大学;2012年

10 孙鹏;面向SaaS应用的多租户海量存储系统设计与实现[D];浙江大学;2010年

，

本文编号：2496565