技术创新平台存储系统的冗余容错机制研究

发布时间：2018-06-25 05:50

本文选题：技术创新平台 + 冗余容错HDFS多目标优化　；参考：《南京工业大学》2012年硕士论文

【摘要】：企业、大学以及科研机构等组织之间的产学研合作能够有效加快科学技术成果的产业化、商品化、和国际化。技术创新平台为产学研合作提供了一种新的平台，，这种平台能够使各参与方跨越地理障碍，进行全天候的协作创新，将教育、科技和经济结合，形成一个产学研合作的有机体。实现技术创新平台的一个关键是数据存储。在技术创新平台中，来自不同区域的海量数据需要存储，同时平台对数据存储成本以及可用性都有很高的要求。如何保证技术创新平台数据存储的海量跨区域性、低成本且高可用性是平台上产学研活动开展的基础，也是一个亟待解决的重要问题。因此，本文旨在于为技术创新平台提供一套有效的存储方案，并设计相应的冗余容错机制，以此来满足平台的存储需求。考虑到技术创新平台的海量跨区域的数据存储需求，本文引入了HDFS云存储框架来构建技术创新平台的存储系统。然而，当前版本的HDFS使用了完全副本冗余容错机制。这种冗余容错机制通过复制数据得到多个副本，并分别进行存储，以此保证系统的高可用性，但是这种方式增加了系统的冗余，增加了存储成本。因此，本文将纠删码技术引入到新的冗余容错机制设计中。这种新的冗余容错机制对原数据编码形成若干校验码，一旦数据发生丢失，使用校验码就可还原数据，以此保证系统高可用性。与完全副本冗余容错机制相比，这种新机制极大地降低了系统的冗余，减少了存储成本。同时，为了能够为技术创新平台提供低成本且高可用性的数据存储方案，本文在冗余容错机制的设计中加入了成本和可用性的冗余优化机制。首先建立一个双目标优化模型，同时提出了一种基于特征映射神经网络的冗余优化算法，用于搜索关于成本和可用性的最优方案。这种算法和其他多目标算法相比，其并行性、分布性以及低计算复杂度等特点更能适合在云存储环境下的存储优化方案搜索。另外，为了进一步提高算法收敛速度以及求解质量，利用云存储中存在大量主机的特点，对原冗余优化算法进行改进，加入了训练模块和竞争模块，提出了并行特征映射神经网络冗余优化算法。最后对本文提出的冗余优化算法以及冗余容错机制分别进行了测试。实验结果证明，与其他多目标优化算法相比，本文的冗余优化算法在求解质量、收敛性上都有着较好的表现。同时，结果证明，与完全副本冗余容错机制相比，本文提出的新冗余容错机制能够在保证系统高可用性的同时，有效降低系统冗余，减少了系统的存储成本。基于HDFS框架的技术创新平台存储系统能够有效满足平台对海量跨区域数据存储的需求。同时，针对该系统提出的冗余容错机制，经验证能够有效保证系统的高可用性以及降低系统冗余存储成本，能够满足平台数据存储的实际需求。另外，本文在基于特征映射神经网络的冗余优化算法方面的工作也为云存储环境下多目标优化算法的应用做出了有益的探索。
[Abstract]:The research and research cooperation between enterprises , universities and scientific research institutions can speed up the industrialization , commercialization and internationalization of scientific and technological achievements . The technological innovation platform provides a new platform for research and research cooperation .

This paper introduces a new redundancy fault - tolerant mechanism , which can reduce the redundancy of the system and reduce the storage cost .

At the same time , in order to provide a low - cost and high - availability data storage scheme for the technological innovation platform , the redundancy optimization mechanism of cost and availability is added in the design of the redundancy fault - tolerant mechanism .

At the same time , the new redundancy fault - tolerant mechanism proposed in this paper can effectively reduce the system redundancy while ensuring the high availability of the system , and reduce the storage cost of the system .

According to the redundancy fault - tolerant mechanism proposed by the system , the system can effectively guarantee the high availability of the system and reduce the cost of redundant storage of the system , and can meet the actual demand of the platform data storage . In addition , the work of the redundant optimization algorithm based on the feature mapping neural network also provides a useful exploration for the application of the multi - objective optimization algorithm in the cloud storage environment .
【学位授予单位】：南京工业大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333;TP302.8

【参考文献】