基于Hadoop的学习资源分布模型设计研究

发布时间：2017-05-16 13:07

  本文关键词：基于Hadoop的学习资源分布模型设计研究，由笔耕文化传播整理发布。

【摘要】：随着计算机技术、网络应用和多媒体技术的不断发展，学习者的学习观念和学习形式也在不断的发生转变。在这种转变下网络学习满足了学习者的终身学习和开放式学习的需要，，成为学习者学习的一个重要途径和方式。在这种形式下，网络学习资源的组织和提供成了整个学习过程中的核心部分。为了满足学习者的需求，各个单位也分别开发了自己的资源库。但是，随着各个学科不断的发展，学习内容不断的丰富，学习资源形式的不断更新，对于这些资源的管理就成了一个核心问题。传统资源库对于大量的学习资源的存储，基本的解决方法是采用升级硬件设备的方法，但是随着学习资源爆炸式的增长，使很多设备提前“退役”，降低了系统的经济性。这种方法带来巨大的资金投入，形成了硬件瓶颈，但是没有从根本上解决问题。 云计算思想在数据资源中的应用，为解决海量学习资源的存储提供新的解决方案。通过对文献资料的分析研究，发现采用分布式集群存储思想是解决这个问题的最佳方案。本文在分析现有的学习资源发展形势和国内外资源库及云计算应用的研究现状，结合Hadoop系统平台的自身关键技术和存储架构，设计了一种基于Hadoop云计算平台的海量学习资源分布模型。本课题以HDFS为文件存储，以HBase为元数据存储，构建在低廉的计算机集群上，实现海量学习资源存储的分布模型。该模型提高了系统的稳定性，扩展性和存取高效性。 本课题重点研究的内容是在研究Hadoop关键技术的基础上，结合海量学习资源的特点，针对Hadoop在处理海量小文件时产生的高内存、高磁盘碎片及中心节点的压力过大等问题，设计了学习资源分布模型。在Hadoop模型的基础上进行优化，设计了以Hadoop为核心的四层架构模型，针对海量学习资源中有众多小文件和学习资源之间存在内在联系的特点，优化了学习资源文件的分布存储策略和元数据存储的数据结构，在实验室条件下使用七台计算机，借助虚拟机软件模拟部署了资源分布模型，并在此模型上进行现有数据的模拟测试。 本课题通过对学习资源的特点设计了分布模型，满足了对资源存储的可靠性、高效性、可扩展性、低成本的要求。通过实验室的模拟测试，验证了模型的可用性和小学习资源文件的存储策略的正确性。
【关键词】：Hadoop 分布式 学习资源 分布模型
【学位授予单位】：沈阳师范大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：G434
【目录】：

• 中文摘要4-5
• Abstract5-7
• 目录7-9
• 第一章 引言9-14
• 一、 研究背景9-11
• 二、 研究目标及意义11-12
• （一） 课题研究目标11
• （二） 课题研究意义11-12
• 三、 研究内容和方法12-14
• （一） 研究内容12-13
• （二） 研究方法13-14
• 第二章 研究现状与问题分析14-23
• 一、 国内外研究现状14-19
• （一） 资源库建设研究现状14-16
• （二） 云计算的研究现状16-18
• （三） 教育云研究现状18-19
• 二、 学习资源情况及存在问题分析19-21
• （一） 学习资源情况分析19-20
• （二） 学习资源管理中存在的问题20-21
• 三、 Hadoop 文件存储现状分析21-23
• 第三章 相关研究介绍23-38
• 一、 分布式关键技术23-30
• （一） 谷歌的分布式文件系统——GFS23-25
• （二） Hadoop 分布式文件系统——HDFS25-26
• （三） Ceph 文件系统26-27
• （四） Lustre 文件系统27
• （五） FastDFS 文件系统27-28
• （六） TFS 集群文件系统28-30
• 二、 云存储中的关键技术30-32
• （一） 虚拟化技术30-31
• （二） 云存储中的存储技术31
• （三） Mapreduce 技术31-32
• 三、 Hadoop 开源云平台32-38
• （一） Hadoop 平台简介32
• （二） Hadoop 的优势32-33
• （三） Hadoop 核心技术33-38
• 第四章 学习资源分布模型设计与实现38-49
• 一、 分布模型总体设计38-44
• （一） 模型逻辑结构设计38-39
• （二） 模型总体架构设计39-42
• （三） 资源分布存储设计42-44
• 二、 学习资源分布存储设计实现44-49
• （一） 资源元数据存储44
• （二） 文件的划分选择44-45
• （三） 数据完整性检查45
• （四） 小文件存储45-49
• 第五章 学习资源分布模型部署与结果分析49-56
• 一、 模型部署49-50
• （一） 硬件环境49
• （二） 软件环境49-50
• （三） 模拟模型设计50
• 二、 实验环境搭建50-52
• （一） Linux 虚拟机安装与设置50-51
• （二） 安装 Java-Jdk51
• （三） Hadoop 的安装51-52
• （四） 安装 HBase 数据库52
• 三、 部署模型所需要的类52-53
• 四、 模拟测试53-56
• （一） 磁盘空间测试54
• （二） 产生磁盘文件测试54-55
• （三） 内存空间占用测试55-56
• 总结56-58
• 参考文献58-60
• 致谢60-61
• 个人简历61

【参考文献】

中国期刊全文数据库 前10条

1 英毅;;云计算的发展及其对教育的影响[J];当代教育论坛(综合研究);2011年01期

2 黎加厚,吴振华,陈双寅,陈晖;美国教育资源门户及其对我国教育资源建设的启迪[J];电化教育研究;2003年08期

3 何禹;胡宇鸿;王一波;;虚拟化技术在校园网数据中心的应用[J];电子科技大学学报;2007年S3期

4 孙福权;张达伟;程勖;刘超;;基于Hadoop企业私有云存储平台的构建[J];辽宁工程技术大学学报(自然科学版);2011年06期

5 张广彬;王小宁;陶丽红;;云计算对高校教育信息化建设的影响[J];中国冶金教育;2011年05期

6 俞毅;;教育资源库建设的现状、问题及发展趋势[J];黑龙江教育学院学报;2008年06期

7 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

8 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

9 张霖;罗永亮;陶飞;任磊;郭华;;制造云构建关键技术研究[J];计算机集成制造系统;2010年11期

10 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

  本文关键词：基于Hadoop的学习资源分布模型设计研究，由笔耕文化传播整理发布。

本文编号：370905