组合盘GRACE散列连接算法
本文选题:固态盘缓存 + 随机I/O ; 参考:《小型微型计算机系统》2014年03期
【摘要】:在传统数据库系统中,I/O开销一直是连接算法性能瓶颈.固态盘具有随机读写性能高和低延迟的特性,使得利用固态盘改善连接算法I/O性能成为可能.提出基于硬盘和固态盘混合存储系统下的组合盘GRACE散列连接算法(CGHJ).CGHJ对传统GRACE散列连接算法分区阶段作如下改进:将固态盘作为内存和硬盘之间的缓存,位于内存的各个散列桶先写到位于固态盘的临时文件缓存;临时文件缓存满后,利用迁移缓存将固态盘中的内容转移到位于硬盘的各个分区文件.新的分区方式增大了分区过程中随机写到每个分区文件的块,减少硬盘分区过程中产生的随机I/O.实验结果显示在缓存容量较小或表的数据规模较大情况下,CGHJ能取得很好消除硬盘随机I/O的效果.
[Abstract]:In the traditional database system, the I/O overhead is always the bottleneck of the performance of the connection algorithm. The solid-state disk has the characteristics of high random reading and writing performance and low delay. It makes it possible to improve the performance of the connection algorithm I/O using the solid disk. A combination disk GRACE hash connection algorithm (CGHJ).CGHJ based on the hard disk and solid disk hybrid storage system is proposed to the traditional GRA. The following improvements are made in the partitioning phase of the CE hash connection algorithm: the cache of the solid disk as between the memory and the hard disk, each hash in memory first to the temporary file cache in the solid disk; after the temporary file is cached, the content of the solid disk is transferred to the various partition files located on the hard disk by the migration cache. The result of random I/O. experiment produced during partition of hard disk shows that CGHJ can effectively eliminate the effect of random I/O of hard disk when the cache capacity is small or the data scale of the table is large.
【作者单位】: 浙江工业大学计算机科学与技术学院;浙江省可视媒体智能处理技术研究重点实验室;
【基金】:国家自然科学基金项目(61070042)资助 浙江省自然科学基金项目(Y1090096,Y13F020114)资助
【分类号】:TP333;TP311.13
【参考文献】
相关期刊论文 前4条
1 杨濮源;金培权;岳丽华;;一种时间敏感的SSD和HDD高效混合存储模型[J];计算机学报;2012年11期
2 汤显;孟小峰;梁智超;卢泽萍;;基于代价的闪存数据库缓冲区置换算法[J];软件学报;2011年12期
3 刘沾沾;岳丽华;金培权;向小岩;;一种针对闪存的高效缓冲区置换算法[J];小型微型计算机系统;2010年08期
4 刘圣卓;姜进磊;杨广文;;一种面向SSD-HDD混合存储的热区跟踪替换算法[J];小型微型计算机系统;2012年10期
【共引文献】
相关期刊论文 前10条
1 王国仁,于戈,叶峰,郑怀远;基于DSVM的并行Hash连接算法及其性能评价[J];计算机学报;1999年10期
2 林子雨;赖明星;邹权;薛永生;杨思颖;;基于替换概率的闪存数据库缓冲区替换算法[J];计算机学报;2013年08期
3 金培权;郝行军;岳丽华;;面向新型存储的大数据存储架构与核心算法综述[J];计算机工程与科学;2013年10期
4 刘洋;王峰;;Dual-FTL:一种基于MLC/SLC双模闪存芯片的闪存转换层[J];河南师范大学学报(自然科学版);2014年05期
5 崔金华;伍卫国;王寅峰;;基于MWM的闪存数据库缓冲区置换算法[J];华中科技大学学报(自然科学版);2015年03期
6 洪晓光,王新军,董继润;一种避免数据偏斜的动态Hash连接方法[J];软件学报;1997年08期
7 卢民荣;;基于软硬件规划的计算机性能优化策略[J];通化师范学院学报;2014年10期
8 卢民荣;;基于SSD的计算机性能优化和实验室节约策略[J];实验室研究与探索;2014年12期
9 胡萍;;闪存数据库磨损均衡控制中数据元模型设计研究[J];铜仁学院学报;2015年04期
10 Tohru Moto-oka ,Harold S.Stone ,宛琰;第五代计算机系统——日本的规划[J];系统工程与电子技术;1984年12期
相关会议论文 前3条
1 王潜平;郭玉钗;林宗楷;;一种层次连接的工程数据库概念设计方法及应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
2 李霖;周兴铭;;基于广播的移动数据库系统体系结构[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
3 丁治明;郭黎敏;;一种支持通用θ-Join的并行查询处理机制[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
相关博士学位论文 前1条
1 杨濮源;基于多介质设备的混合存储系统关键技术研究[D];中国科学技术大学;2014年
相关硕士学位论文 前10条
1 常洞霞;大规模集群上的连接处理与优化[D];华东师范大学;2011年
2 高国顺;分布式数据库查询优化算法研究与实现[D];上海师范大学;2011年
3 雷小强;基于闪存的混合式存储系统研究[D];华中科技大学;2011年
4 成洋;关系代数教学系统研究[D];天津大学;2012年
5 余弋;分布式数据库查询优化研究[D];安徽工程大学;2011年
6 史智博;打叶复烤管理与闭环反馈系统开发[D];东北大学;2009年
7 龙源;基于Shared Nothing机制的分布式数据访问层研究[D];南京邮电大学;2012年
8 刘勇;并行数据仓库的建模、OLAP界面的设计、数据提取和数据维护[D];黑龙江大学;2001年
9 杨柏梁;并行数据仓库管理系统中的查询处理[D];黑龙江大学;2001年
10 张德辉;基于多维压缩数组存储结构的并行联机分析处理操作算法研究[D];黑龙江大学;2001年
,本文编号:1916629
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/1916629.html