基于HDFS的创新知识存储及分发架构的研究与设计

发布时间：2017-03-20 15:14

  本文关键词：基于HDFS的创新知识存储及分发架构的研究与设计，由笔耕文化传播整理发布。

【摘要】：创新知识的运用受到了越来越多的关注。其中突出存在的一个问题是解决创新知识社会共享和敏感知识私有的矛盾。只有创新知识的全社会共享才能最大限度发挥创新知识的再利用价值,然而各个团体或者组织所拥有的知识都具有鲜明的特色并且总会存在一些不适合于共享的私有知识。同时在资源和性能等条件的约束下,这些团体也面临着无法完全接触共享知识全集的问题。因此有必要设计一种分布式创新管理共享架构,完成创新知识的收集、加工、存储及分发等任务,促进创新知识的社会共享。面对海量的创新知识,当前传统的存储结构难以满足性能上的需求。而Hadoop的分布式文件系统HDFS凭借着高性能、高容错性等优势等已成为业界研究云计算与云存储的标准模型。但是其在海量小文件存储和主节点单点故障等问题上依然存在着不足,难以直接提供高效可靠的存储服务。本文在创新知识云平台上设计并实现了一种分布式的弹性计算架构模型。模型在建立创新知识云平台和创新基地之间的分布式关系的基础上,设计实现了创新知识的收集和分发等管理流程,给出了知识分发阶段从共享知识全集中筛选出知识需求的形式化规约及相关实现。在创新知识存储方面,通过引入包文件及分布式索引服务,改进了HDFS小文件存储的效率问题;引入备份集群的概念优化命名空间备份及故障恢复服务以及引入了内存数据缓存系统,进一步提升存储速度,实现了可用性更强、资源利用率更高的HDFS高可用架构。创新知识云平台为创新知识提供了一条灵活的传播通路。通过理论推导和相关实验结论可以看出,该模型结构解决了知识共享的与私有矛盾,具有良好的可行性和灵活性,并且为创新基地的知识库更新过程提供一定的预测、推荐能力。而且对HDFS的改进为创新知识的存储提供了高效、可靠的存储支持,同时也可以推广到其他类似的存储领域。
【关键词】：创新知识 偏好模型 HDFS 小文件存储 单点故障
【学位授予单位】：河北工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333

  本文关键词：基于HDFS的创新知识存储及分发架构的研究与设计，由笔耕文化传播整理发布。

，

本文编号：258011