基于MooseFS工业采集数据云存储系统研究

发布时间：2019-07-24 09:13

【摘要】：随着internet的发展以及物联网和云计算的兴起，构建工业物联网成为工业现代化发展的必然趋势。企业的工业控制网络和信息网络的融合成为关键技术，面对海量数据管理困难、高数据存储成本高、安全可靠性难以保证、扩展性较低等难题，明智企业会选择搭建工业私有云存储系统，采用分布式采集和管理系统，利用云存储的高通用性、高扩展性、高可靠性以及海量存储等特性。工业采集数据云存储解决方案可以有效解决存储和数据挖掘问题。 本文采用MooseFS(MFS)搭建了工业采集数据云存储系统并对MFS代码进行了详细分析，提出存储节点同时作为计算节点的设计思想。针对海量工业采集数据难以存储的问题，设计了专门的分布式存储算法，，提供了专用接口存储工业数据。在云存储系统中查询海量工业数据需要消耗大量时间和资源，本文设计的定时数据并行分布式查询算法可以极大缩短查询时间和提高资源利用率；在海量随机数据查询过程中，查询效率也成为关键难题，本文设计的分布式索引算法和随机数据并行分布式算法提高了查询效率。 本文的创新成果主要有： (1)提出工业采集数据云存储解决方案，把云存储资源池作为工业数据计算资源池，将存储节点同时作为计算节点，计算节点主要实现建立分布式索引、完成并行分布式查询任务等功能； (2)在工业数据云存储系统上进行数据挖掘：建立随机数据索引、实现大规模定时工业数据查询和随机工业数据查询； (3)本文设计的系统继承云存储系统的动态扩容特性，系统可以部署在3台到1万台的不同规模集群环境，同时也可部署到廉价的分布式嵌入式系统。
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333;TP274.2

【参考文献】

相关期刊论文 前9条

1 那宝玉;张毓森;刘鹏;;高顽存性存储网格的构架与性能分析[J];吉林大学学报(信息科学版);2007年02期

2 李胜广;张其善;;实现Linux防火墙系统双机热备的方法[J];计算机与数字工程;2006年03期

3 赵文玉,纪越峰,徐大雄;分布式对象计算技术最新进展[J];数据通信;2000年03期

4 罗家融,徐浩,朱琳,季振山,田一海,江海燕;Socket通信编程在分布式控制系统中的应用[J];微型机与应用;2001年01期

5 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期

6 孙军平,盛万兴,王孙安;基于以太网的实时发布者/订阅者模型研究与实现[J];西安交通大学学报;2002年12期

7 孙茜;;Web2.0的含义、特征与应用研究[J];现代情报;2006年02期

8 缪学勤;论六种实时以太网的通信协议[J];自动化仪表;2005年04期

9 刘鹏;;解读云计算与安防[J];中国安防;2011年07期

相关博士学位论文 前3条

1 仲崇权;工业现场数据采集与工业以太网若干关键技术[D];大连理工大学;2007年

2 向冬;基于CC的工业数据采集系统开发方法研究[D];西北工业大学;2006年

3 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年

相关硕士学位论文 前2条

1 薛伟;分布式文件系统关键技术研究与实现[D];中国科学技术大学;2011年

2 徐田文;分布式计算技术研究与实现[D];中国地质大学（北京）;2006年

本文编号：2518539