车载环境下基于异构Hadoop的云端存储技术研究

发布时间：2017-09-16 05:24

  本文关键词：车载环境下基于异构Hadoop的云端存储技术研究

  更多相关文章： 大数据 异构集群 数据温度 节点性能 Hadoop

【摘要】：车联网正日益深入到我们的生活,为我们提供各种各样的服务。庞大的车联网系统会产生海量数据,因此车联网的云计算平台就成为车联网信息化的关键。一直以来Hadoop在云计算领域的表现突出,尤其是具有低成本和高效率的特性,其市场认可度越来越高。Hadoop集群的硬件环境在部署之初一般都是同构的,但是随着对集群硬件不断的扩展、升级和改造,原来针对同构硬件环境的存储方案已难以满足当前异构集群的需求。针对该问题,本文研究了一种基于数据温度和节点性能来改善异构Hadoop集群读写性能的方案,主要工作如下:首先,为了更准确地获取特定Hadoop应用场景下的集群节点性能,本文研究了一种基于多元线性回归模型(Multivariable Linear Regression Model,MLRM)的节点性能计算方法。该方法首先利用基准性能测量工具获取节点的磁盘读写速率、内存的随机访问存取速率以及CPU的运算速率,其次建立节点性能和三个参数之间的线性回归模型来计算各节点的性能。基于Hadoop的实验分析表明,本文所提出的模型计算的节点性能值与实验所得节点性能值相吻合,验证了前述模型的可行性。其次,针对异构Hadoop集群存储性能下降的问题,本文研究了一种基于节点性能和数据温度的存储方法。该方法在Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)异构存储方案基础上,考虑了同类型存储介质节点之间的性能差异,通过建立数据温度和存储策略之间的映射关系,将访问频度高和时间度新的文件存放在性能更好的节点上,实现集群中的能者多劳。实验结果表明,该方法对部署Hadoop集群的车联网云平台的读操作有显著的改善。
【关键词】：大数据 异构集群 数据温度 节点性能 Hadoop
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U463.6;TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-13
• 1.1 研究背景和意义8-10
• 1.2 国内外研究现状10-11
• 1.3 本文主要工作及章节安排11-13
• 第二章 车联网与分布式存储概况13-26
• 2.1 车联网与大数据13-14
• 2.2 分布式存储的典型应用14-19
• 2.2.1 Lustre文件系统14-16
• 2.2.2 谷歌文件系统16-17
• 2.2.3 淘宝文件系统17-18
• 2.2.4 HDFS文件系统18-19
• 2.3 HDFS核心策略研究19-24
• 2.3.1 NameNode和DataNode19-20
• 2.3.2 HDFS文件读写机制20-22
• 2.3.3 HDFS块放置策略22-23
• 2.3.4 HDFS负载均衡机制23-24
• 2.4 计算机基准测量工具简介24
• 2.5 本章小结24-26
• 第三章 基于数据温度和节点性能的存储方案26-36
• 3.1 HDFS的异构存储方案26-27
• 3.2 节点的性能计算27-31
• 3.2.1 节点性能计算技术现状27-28
• 3.2.2 基于线性回归模型的节点性能计算28-31
• 3.3 基于数据温度和节点性能的存储方案31-35
• 3.3.1 数据温度的等级设定31-32
• 3.3.2 存储策略的制定32-34
• 3.3.3 数据迁移的执行34-35
• 3.4 本章小结35-36
• 第四章 实验及分析36-46
• 4.1 实验环境36-38
• 4.2 数据节点性能测量38-41
• 4.2.1 建立线性回归模型38-40
• 4.2.2 节点性能测量结果校验40-41
• 4.3 基于数据温度和节点性能存储方案的实验41-45
• 4.3.1 制定存储策略41-43
• 4.3.2 实验结果43-45
• 4.4 本章小结45-46
• 第五章 总结与展望46-48
• 5.1 研究工作总结46
• 5.2 研究工作展望46-48
• 参考文献48-52
• 附录1 程序清单52-54
• 附录2 攻读硕士学位期间参加的科研项目54-55
• 致谢55

【相似文献】

中国期刊全文数据库 前10条

1 武胜,武振宇;等宽K型间隙方管节点静力工作性能的研究[J];哈尔滨工业大学学报;2003年03期

2 闫竹玲;郝际平;;半刚接钢框架的节点性能研究综述[J];山西建筑;2009年09期

3 沈祖炎,李元齐,陈以一;某工程支座节点性能试验研究[J];建筑结构学报;2000年06期

4 陈务军;付功义;冯志刚;任小强;董石麟;;C类膜(PVC/PES)熔接缝合节点性能试验研究[J];建筑结构;2007年02期

5 ;轴向压缩下不加劲T型/Y型管节点性能的研究[J];钢结构;2013年01期

6 ;钢垫板硬度对滑动铰节点性能的影响[J];钢结构;2012年05期

7 黄均田;邹银生;唐昭青;段林;张微伟;;无粘结预应力混凝土扁梁节点性能影响分析[J];四川建筑;2007年01期

8 吴香国;陈思远;赵新宇;;高性能多功能桥墩永久模板节段节点性能分析[J];哈尔滨工程大学学报;2012年09期

9 武振宇,武胜;弦杆轴力作用下不等宽K型间隙方管节点性能研究[J];建筑结构;2004年05期

10 邵紫阳;丁建国;;双T板屋盖体系的梁板节点性能研究[J];江苏建筑;2013年01期

中国重要会议论文全文数据库 前6条

1 刘金瑶;王路遥;张艳霞;;新型梁柱刚性连接节点性能综述[A];第六届全国土木工程研究生学术论坛论文集[C];2008年

2 陈丽静;邱宏刚;谢晓栋;;高层钢框架腹板开长槽型节点性能研究[A];第十二届全国结构工程学术会议论文集第Ⅰ册[C];2003年

3 王湛;袁继雄;;框架梁柱节点性能既有测试方法的分析[A];’2008全国钢结构学术年会论文集[C];2008年

4 武振宇;张耀春;谭慧光;;不等宽T型方管节点性能的有限元分析[A];第八届全国结构工程学术会议论文集（第Ⅲ卷）[C];1999年

5 陈龙中;童乐为;陈以一;范重;;国家体育场复杂空间KX型节点性能研究[A];庆祝刘锡良教授八十华诞暨第八届全国现代结构工程学术研讨会论文集[C];2008年

6 黄灿杰;鲁文帅;付平;;基于FPGA单芯片的SpaceWire节点接口设计[A];2009中国仪器仪表与测控技术大会论文集[C];2009年

中国博士学位论文全文数据库 前1条

1 袁继雄;框架梁柱节点性能研究之测试方法与边界条件的分析[D];汕头大学;2008年

中国硕士学位论文全文数据库 前10条

1 刘君一;面向MapReduce的节点性能检测与任务调度方法研究[D];国防科学技术大学;2013年

2 刘林林;不锈钢平面焊接相贯圆管节点性能研究[D];合肥工业大学;2015年

3 曾庆云;车载环境下基于异构Hadoop的云端存储技术研究[D];南京邮电大学;2016年

4 周斌;边界约束和加载点位置对节点性能的影响[D];汕头大学;2008年

5 许萌;基于协议的网络节点性能监测系统研究[D];北京邮电大学;2009年

6 修金捷;钢框架梁柱腹板刚性连接的节点性能分析[D];西安科技大学;2003年

7 张吉;基于概率灵敏度技术的钢结构螺栓节点性能研究[D];汕头大学;2007年

8 萨鹏程;树状结构空间节点性能研究[D];哈尔滨工程大学;2009年

9 彭中华;腹板开圆孔型钢结构梁柱组合节点性能数值分析[D];北京交通大学;2012年

10 杭银龙;高层建筑钢结构狗骨式节点性能研究[D];西安理工大学;2005年

，

本文编号：861146