基于NoSQL的PDM图文档分布式存储与并行查询

发布时间：2017-04-26 09:11

  本文关键词：基于NoSQL的PDM图文档分布式存储与并行查询，由笔耕文化传播整理发布。

【摘要】：图文档是制造类企业产品数据管理的主要信息资源之一。现有的PDM系统几乎全部是以产品结构树为基础来实现图文档管理，通过关系数据库(RDB)和文件系统集成的方式实现图文档存储。企业“大数据”时代的到来，使得传统基于RDB的PDM系统在高扩展性、高并发访问和高可用性等方面存在的问题日显突出——服务器和用户终端机越来越“高档”、存储设备数量和容量越来越大、用户访问速度越来越慢、数据备份时间越来越长。同时，RDB并不适台表达层次模型问题，标准的SQL语言也很难直接实现复杂的层次查询要求，并且在海量数据规模下，传统的层次遍历算法时间效率会非常低。因此寻求较高效率的图文档存储方案和层次查询方案具有重要的意义。 首先，针对图文档大文件的高吞吐量存取和小文件的快速响应需求，提出将NoSQL数据库加入以HDFS(Hadoop Distributed File System)为基础的企业私有云存储平台，共同提供文件存储服务；同时，提出一种存储系统综合评判模型，结合多维属性决策理论以确定文件分布存储时的阈值。 其次，针对大规模产品结点信息层次遍历时间效率低的问题，提出一种基于MapReduce的层次查询处理方法。借鉴MapReduce并行计算思想，分析了产品结点信息并行扩展处理方法并详细设计了算法的过程。 最后，对本文提出的模型和算法分别进行实验检验。图文档存储实验结果表明，MongoDB具有小文件存取优势，在海量文件数据下，，阈值应设置在17MB以下。基于MapReduce的层次查询实验验证了算法的有效性，并且实验结果表明在大规模数据结点层次查询下较传统方法效率更高。
【关键词】：NoSQL PDM图文档 分布式存储 MapReduce 层次遍历
【学位授予单位】：沈阳航空航天大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要6-7
• Abstract7-11
• 第1章 绪论11-20
• 1.1 研究背景11-16
• 1.1.1 PDM 主要功能概述12-13
• 1.1.2 传统 PDM 图文档存储系统不足之处13-14
• 1.1.3 研究目的与意义14-16
• 1.2 国内外研究现状16-18
• 1.2.1 PDM 图文档国内外研究现状16-17
• 1.2.2 NoSQL 国内外研究现状17-18
• 1.3 论文的主要研究内容18-19
• 1.4 论文的组织结构19-20
• 第2章 相关理论与技术20-30
• 2.1 传统存储技术及云存储20-23
• 2.1.1 传统集中式存储及其体系结构20-22
• 2.1.2 云存储特性22-23
• 2.2 NoSQL 技术23-25
• 2.2.1 NoSQL 概念、特性和分类23-24
• 2.2.2 MongoDB 集群架构及其文件存储实现24-25
• 2.3 Hadoop25-29
• 2.3.1 HDFS 体系结构及读写流程26-28
• 2.3.2 MapReduce 概述及其实现机制28-29
• 2.4 本章小结29-30
• 第3章 基于 NoSQL 的 PDM 图文档存储30-37
• 3.1 基于企业私有云的 PDM 简介30-31
• 3.2 企业私有云平台设计需求分析31-32
• 3.3 图文档存储平台设计32-34
• 3.3.1 数据分布模型32-33
• 3.3.2 图文档元数据存储模块33-34
• 3.4 存储系统综合评判模型34-36
• 3.5 本章小结36-37
• 第4章 一种基于 MapReduce 的层次查询处理方法37-46
• 4.1 数据结构定义37-38
• 4.2 产品结点信息处理38-42
• 4.2.1 MapReduce 并行计算框架38-39
• 4.2.2 产品结点信息处理方法分析39-42
• 4.3 基于 MapReduce 的层次查询算法设计及实现42-44
• 4.3.1 非根结点扩展42-44
• 4.3.2 基于 MapReduce 排序44
• 4.4 本章小结44-46
• 第5章 实验与分析46-53
• 5.1 实验环境46
• 5.2 图文档存储实验及分析46-49
• 5.3 基于 MapReduce 的层次遍历实验及分析49-51
• 5.4 本章小结51-53
• 结论53-55
• 参考文献55-58
• 致谢58-59
• 攻读硕士期间发表（含录用）的学术论文59

【参考文献】

中国期刊全文数据库 前10条

1 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期

2 杨建峰,刘东升,王建民;同方PDM一体化集成管理[J];计算机辅助设计与制造;2000年02期

3 曾宇波;TH-P3DM提高设计效率[J];计算机辅助设计与制造;2000年02期

4 栾亚建;黄烂

本文编号：328152