面向大数据应用的数据对象页模型研究

发布时间：2017-11-16 12:07

本文关键词：面向大数据应用的数据对象页模型研究

【摘要】：在大数据时代,针对大数据采集、管理、计算、分析和展现等各个处理环节的研究始终是相关领域的热点问题。其中,大数据应用程序在访存过程中体现出自身特征,尤其是重用性特征。然而,传统的页面置换算法置换策略固定,无法感知大数据应用的访存特征并做出置换策略上的相应调整。这就造成了具有重用性特征的大数据应用程序更容易发生页面“抖动”现象,并可能随着数据量的增大愈发严重。传统页面置换算法与大数据应用访存特征不相适应,改善这一问题的方法主要有两类。一类是自适应的解决方案:在系统中预置若干传统页面置换算法。当执行应用程序时,系统根据程序的访存特征进行判断,自动选择当前执行效率最高的页面置换算法。但是,这种方案仍然没有从根本上改变传统页面置换算法置换策略固定的局限性。另一类是针对特定应用的解决方案:根据特定应用的访存特征,建立数据处理模型,包括新的数据组织形式和置换算法两个方面。这种方案往往需要静态分析,但是灵活性和通用性都比较强。本文就是以针对特定应用的解决方案作为研究思路,主要做了以下三个方面的工作:第一,提出面向大数据应用的数据对象页框架DOOP。该框架以传统的内存页面管理为基础,添加了一个新的页面组织管理层,用来感知大数据应用程序中特定数据结构在访存过程中的重用性特征。DOOP采用面向对象的思想,将具有重用性特征的数据结构组织成数据对象的形式,并且设计了数据对象页的置换机制及其统一接口。第二,提出了基于数据对象页模型的数据对象页面置换算法。传统的页面置换算法在已经不能完全适应大数据应用程序访存特点的同时,也无法适应新的数据对象页的组织方式。因此,本文对数据对象进行了形式化定义,并且设计了一种用户执导的非固定大小动态对象页置换算法。第三,以典型大数据应用程序k-means为例,演示了数据对象页模型及其相应页面置换算法的工作过程。使用模拟程序,验证了数据对象页模型的可行性,通过与LRU传统页面置换算法的性能相比较,也显示了数据对象页面置换算法的性能优势。
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【参考文献】

中国期刊全文数据库前10条

1 刘智慧;张泉灵;;大数据技术研究综述[J];浙江大学学报(工学版);2014年06期

2 潘亮铭;汪梦泽;;页面置换算法与系统颠簸分析[J];现代电子技术;2013年20期

3 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

4 王梅;周娇玲;乐嘉锦;;一种列存储数据仓库中的数据复用策略[J];计算机学报;2013年08期

5 魏兵;姚敏;沈志荣;;Google Bigtable系统的可信性研究[J];信息网络安全;2011年12期

6 江小平;李成华;向文;张新访;颜海涛;;k-means聚类算法的MapReduce并行化实现[J];华中科技大学学报(自然科学版);2011年S1期

7 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

8 施Oz;肖仰华;温文灏;朱乾钱;王恒山;;基于Mapreduce的大规模社会网络提取方法研究[J];计算机应用研究;2011年01期

9 陈昊罡;汪小林;王振林;靳辛欣;温翔;罗英伟;李晓明;;面向虚拟机的远程磁盘缓存[J];计算机科学与探索;2010年12期

10 吴峰光;奚宏生;徐陈锋;;一种支持并发访问流的文件预取算法[J];软件学报;2010年08期