制造业大数据分布式存储管理方法研究

发布时间：2017-12-16 17:44

  本文关键词：制造业大数据分布式存储管理方法研究

  更多相关文章： 制造业大数据 分布式存储 对象代理模型 关联关系 存储优化

【摘要】：德国工业4.0的产生与兴起使得制造业逐渐迈入了大数据时代。从产品的设计、制造到维修的整个生命周期中,都会产生大量的结构化、半结构化、非结构化数据,它们具有多模态、高通量、强关联等特性。作为新一代信息技术的关键,制造业大数据将逐渐成为产业革命的核心,是实现智慧生产的重要因素,因此如何存储和管理制造业大数据成为人们研究的热点。对大数据的管理一般采用分布式存储的方法,虽然目前已有许多分布式存储方案,也出现了一些工业大数据管理平台,但采用现有方法对制造业大数据进行存储存在以下几方面的不足:(1)数据管理分散,当需要进行信息共享时,会造成人员之间的频繁沟通;(2)对复杂关联关系的管理能力不够;(3)现有的管理系统均为通用系统,从而缺乏对制造业大数据独有特征的支持等等。为了对制造业大数据进行高效地存储管理,解决现有存储方案的不足,本文设计并实现了针对制造业大数据的分布式存储引擎,利用对象代理数据库实现元数据存储管理功能,以HDFS为文件系统实现分布式数据存储管理的功能,并根据元数据信息与数据间的关联关系对小文件存储和副本机制进行优化。本文的工作主要包括以下几方面:(1)利用源类与代理类之间的代理关系,本文提出了基于对象代理模型的制造业非结构化数据元数据管理方法,分别对其元数据、实体组成关系与约束关系、实体数据对应关系进行建模;(2)由于制造业大数据中存在海量的小文件,而HDFS存储小文件时存在着存储空间浪费等问题,因此本文对小文件存储进行优化,综合考虑文件之间的关联关系以及合并后的存储空间利用率对文件聚簇,将小文件组织成聚簇文件进行存储;(3)针对制造业数据访问具有时效性这一特征,本文对HDFS的副本管理机制进行了改进,根据文件的历史访问频率以及系统的存储空间使用情况,计算文件当前的副本需求量并动态调整副本,当需要增加副本时,本文根据节点的工作状态、副本复制的网络开销以及相关用户的读取效率,为文件选择最优的副本存放节点。最后将本文设计的分布式存储引擎在实际环境中进行部署,对以上方案从功能和性能两方面进行了验证。实验结果不仅表明了功能的正确性与完整性,而且也说明了本文方法在性能上是有效的,能够显著地提高系统的读取效率。
【学位授予单位】：武汉大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP333;TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 王征;刘心松;李美安;;企业信息分布式存储的热点处理策略[J];计算机集成制造系统;2006年09期

2 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期

3 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

4 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

5 崔忠强;左德承;张展;;在云间可重构的分布式存储[J];系统工程理论与实践;2011年S2期

6 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期

7 唐京伟;;基于云计算的分布式存储技术[J];中国传媒科技;2013年15期

8 郭栋;王伟;曾国荪;;基于一致性树分布的数据分布式存储方法[J];计算机应用;2013年12期

9 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[J];电信科学;2013年12期

10 谢然;;敢问存储之路在何方?见分布式存储摇曳在数据枝头[J];互联网周刊;2014年02期

中国重要会议论文全文数据库 前7条

1 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

2 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

3 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

4 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年

5 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

6 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年

7 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

中国重要报纸全文数据库 前8条

1 京东架构委员会主任 云平台首席架构师 系统技术部负责人 刘海锋;京东:分布式存储体系成为业务基石[N];中国信息化周报;2014年

2 《网络世界》记者 于翔;京东分布式存储体系研发历程[N];网络世界;2014年

3 《网络世界》记者 于翔;融合一体机投入大规模商用[N];网络世界;2013年

4 记者 余荣华;大数据，催生大变革[N];人民日报;2014年

5 本报记者 张佳星;新生产业布局如何“云”中索骥[N];科技日报;2014年

6 本报记者 甘露;物联网让管理更美妙[N];计算机世界;2013年

7 本报记者 郭涛;华为帮用户定制HANA一体机[N];中国计算机报;2013年

8 临江;手机浏览器,3G时代的采矿机？[N];人民邮电;2009年

中国博士学位论文全文数据库 前9条

1 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年

2 胡q，

本文编号：1296924