内存云分级存储架构下的数据迁移模型

发布时间：2018-03-12 21:54

  本文选题：分级存储　切入点：内存云　出处：《计算机应用》2015年12期 　论文类型：期刊论文

【摘要】：为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。
[Abstract]:In order to realize the efficient storage and access of online mass data, a migration model based on data importance is proposed in memory cloud hierarchical storage architecture. The importance of the data itself is calculated by such factors as the total amount of user access. Secondly, the potential value of the data is evaluated by using the idea of similar users in the recommendation system and the importance ranking in the PageRank algorithm. The importance and potential value of the data determine the importance of the data, and then, based on the importance of the data, the data migration mechanism is designed. The experimental results show that the model can recognize the importance of the data and place the data at different levels. Compared with the least recent use of LRUU, the least commonly used algorithms recently, such as LFUU and data migration based on value assessment (MSDVV), can improve the hit rate of data access in storage systems. This model can relieve some storage pressure and improve the performance of data access to some extent.
【作者单位】： 新疆大学软件学院;新疆大学信息科学与工程学院;
【基金】：国家自然科学基金资助项目(61462079,61363083,61262088)
【分类号】：TP333

【参考文献】

相关期刊论文 前3条

1 敖莉;于得水;舒继武;薛巍;;一种海量数据分级存储系统TH-TS[J];计算机研究与发展;2011年06期

2 黄冬梅;杜艳玲;贺琪;;混合云存储中海洋大数据迁移算法的研究[J];计算机研究与发展;2014年01期

3 英昌甜;于炯;鲁亮;刘建矿;;基于小文件的内存云存储优化策略[J];计算机应用;2014年11期

【共引文献】

相关期刊论文 前10条

1 李煜民;章才能;;海量数据高并发访问系统的风险规避研究[J];湘南学院学报;2012年05期

2 马松;厉井钢;王一楠;;存储管理中梯度策略的研究与设计[J];硅谷;2014年09期

3 李志远;温钰;马军生;;数据中心中服务器操作系统热迁移[J];电信快报;2014年11期

4 刘斌;;海量网络数据智能分级存储技术研究[J];信息安全与技术;2015年04期

5 周红进;王秀森;;基于MatLab的海量数据处理方法[J];计算机与数字工程;2012年05期

6 张广艳;丘建平;;分级存储系统中一种数据自动迁移方法[J];计算机研究与发展;2012年08期

7 孙国梓;王瑞;薛磊;朱小龙;;一种基于镜像管理的电子证据系统[J];计算机应用与软件;2013年08期

8 黄冬梅;杜艳玲;贺琪;;混合云存储中海洋大数据迁移算法的研究[J];计算机研究与发展;2014年01期

9 黄冬梅;杜艳玲;王振华;;海洋大数据分级存储中迁移模型的研究[J];计算机应用与软件;2014年09期

10 刘晴和;杨云;贺兴亚;徐文春;周媛媛;;基于业务分割的并行式大数据迁移策略研究[J];计算机与现代化;2014年11期

相关博士学位论文 前1条

1 侯志通;条带状公路运营管理空间大数据降维组织及混合存储关键技术研究[D];浙江大学;2015年

相关硕士学位论文 前7条

1 王艳云;分级存储系统中数据迁移技术的研究[D];西安建筑科技大学;2012年

2 周永恒;一种基于综合频度指标的数据记录分级存储方法及研究实现[D];昆明理工大学;2013年

3 刘晓然;基于文件的数据分级存储的研究与实现[D];昆明理工大学;2013年

4 王帆;文件备份光盘库I/O调度系统的设计与实现[D];华中科技大学;2013年

5 宋世明;网络文库中海量存储系统的文件分级存储方法与应用研究[D];昆明理工大学;2014年

6 杜艳玲;混合云存储环境下海洋大数据的布局及迁移算法研究[D];上海海洋大学;2014年

7 单旦骏;应用于OpenStack平台的无元数据服务器的海量网络存储系统设计[D];浙江大学;2014年

【二级参考文献】

相关期刊论文 前4条

1 李四海;姜晓轶;张峰;;我国数字海洋建设进展与展望[J];海洋开发与管理;2010年06期

2 敖莉;于得水;舒继武;薛巍;;一种海量数据分级存储系统TH-TS[J];计算机研究与发展;2011年06期

3 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

4 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

【相似文献】

相关期刊论文 前10条

1 李建国;;为数据迁移上“保险”[J];信息系统工程;2007年02期

2 史晓燕;;数据迁移的研究[J];浙江工商职业技术学院学报;2007年03期

3 宿培成;;关于计算机云存储中数据迁移的分析[J];信息安全与技术;2012年05期

4 ;阿里云提供服务器免费数据迁移[J];金融科技时代;2012年09期

5 杨丽芳;刘琳;;浅析计算机云存储的数据迁移[J];计算机光盘软件与应用;2013年19期

6 王婧韫;数据迁移的一般原则[J];电脑开发与应用;2000年04期

7 芦红;图书馆计算机集成系统之间的数据迁移[J];情报杂志;2003年07期

8 张玉珍,黄东;在管理信息系统开发中如何进行数据迁移[J];工业控制计算机;2003年04期

9 蔡葵;巧用数据管道实现数据迁移[J];华南金融电脑;2003年11期

10 李永良;数据迁移:在新旧系统中切换[J];中国计算机用户;2003年Z2期

相关会议论文 前6条

1 蒋学;黄瑞;刘t，

本文编号：1603453