基于HDFS开源架构与多级索引表的海量数据检索mDHT算法

发布时间：2017-09-07 03:06

  本文关键词：基于HDFS开源架构与多级索引表的海量数据检索mDHT算法

  更多相关文章： 大规模数据处理 云存储 多级索引表 查找算法 MapReduce

【摘要】：针对大规模能源数据系统的存储与快速检索需求,提出了一种基于HDFS/Hadoop开源平台的云存储架构及多级索引目录体系,以及此架构下的基于多级索引表的mDHT算法,并完成了算法的MapReduce编程实现。基于上述算法完成的4800万条数据的仿真实验表明:在数据量达到1200万～4800万条时,采用多级索引表的mDHT算法较常规的MS SQL Server实现和HDFS/Hive方法在检索性能方面有质的飞跃;与单级索引表检索方法比较,在数据查找时间上也有24.5%～57.8%的显著降低。文中提出的基于多级索引表的DHT算法为构建基于云存储架构的海量数据快速搜索引擎提供了一个关键技术。
【作者单位】： 电子科技大学;西安工程大学;
【关键词】： 大规模数据处理 云存储 多级索引表 查找算法 MapReduce
【基金】：教育部留学回国人员科研启动基金资助
【分类号】：TP391.3
【正文快照】： 1前言21世纪计算技术的发展及互联网的普遍应用,使得全球数据量呈现暴发性的增长。以生命科学领域的人类基因组学研究为例,2006年DNA碱基数目已超过1300亿,全世界每年生物数据量已超过1015字节(1PB)[1]。国际数据公司(IDC)报告:2011年全球数据产出量更达到了1.8ZB(100万PB),

【二级参考文献】

中国硕士学位论文全文数据库 前1条

1 胡一俊;web超链分析应用研究[D];武汉大学;2005年

【相似文献】

中国期刊全文数据库 前10条

1 江珊;;图书馆怎样面对云计算[J];图书馆杂志;2010年07期

2 朱勇;;浅谈云计算与图书馆数据中心[J];科技情报开发与经济;2010年24期

3 严海兵;姚武霞;过言之;;云计算下的图书馆数字资源存储研究[J];苏州科技学院学报(自然科学版);2011年03期

4 靳贺敏;;云计算在图书馆数字资源建设中的应用探究[J];甘肃科技;2011年07期

5 刘文云;鲍凌云;;“云”下的数字图书馆资源存储研究[J];情报资料工作;2011年02期

6 刘国萍;谭国权;杨明川;;基于云存储的在线备份安全技术研究[J];电信科学;2010年09期

7 朱勇;;云计算与图书馆建设[J];内蒙古科技与经济;2010年15期

8 祝建武;;云存储在企业容灾备份中全新模式探析[J];现代商贸工业;2011年03期

9 黎意慧;;图书馆在云计算时代的机遇与挑战[J];图书馆界;2011年04期

10 李翠侠;;基于混合云的高校图书馆存储方案研究[J];图书馆学研究;2011年05期

中国重要会议论文全文数据库 前1条

1 林秦颖;桂小林;史德琴;王小平;;面向云存储的安全存储策略研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国博士学位论文全文数据库 前2条

1 李凌;云计算服务中数据安全的若干问题研究[D];中国科学技术大学;2013年

2 安宝宇;云存储中数据完整性保护关键技术研究[D];北京邮电大学;2012年

中国硕士学位论文全文数据库 前10条

1 程彬;海量数据组织中的索引机制研究与实现[D];华中科技大学;2008年

2 黄振宇;基于云计算的网络视频监控系统研究与实现[D];上海交通大学;2011年

3 张婧;云存储中的用户数据安全[D];上海交通大学;2012年

4 刘雪;云存储中的安全问题研究及应用[D];北方工业大学;2012年

5 王英杰;基于HADOOP的能源数据存储体系中多级索引表DHT算法的研究[D];电子科技大学;2012年

6 胡凯;云存储中的数据安全与保密[D];华中科技大学;2012年

7 李倩;安全云存储中高效的关键词查找方案[D];中南大学;2012年

8 邱汉彬;基于云存储的空间批租业务技术架构研究及原型验证[D];华南理工大学;2012年

9 黄格仕;云存储安全技术的研究[D];华南理工大学;2012年

10 宋小宝;模块化构建基础设施云关键技术及实现[D];北京邮电大学;2012年

，

本文编号：807032