基于GPU的索引构建方法研究

发布时间：2020-02-08 18:21

【摘要】：随着互联网飞速的发展，网络信息量不断增加，为提高实时检索的效率，需要一种快速的索引方法。就搜索引擎而言，对大规模文本构建索引涉及较大的数据量和计算量，会消耗大量计算资源，如何实现海量文本数据高性能索引，是搜索应用中不可或缺的议题。 为提高索引构建的性能，采用了GPU协作计算的模式，利用GPU高效并行计算能力来解决密集计算的问题。为充分利用CPU和GPU的计算优势，分析了索引构建的机制，提出了一种加速索引构建的CPU、GPU的任务协作模型，分解文本索引各个过程，将文本解析、词条索引等可并行化任务交给GPU完成，而读写文件、索引合并等任务则由CPU串行完成。为提高多线程并行计算的效率，根据GPU内存结构特点，设计了基于哈希表的并行索引结构，对每个词条增加了线程独立的频率统计区，在构建索引时，索引词条按不同的索引结构进行分类管理，以减少内存开销。根据词条类型的不同，设计了基于哈希表的立即索引的并行算法，和基于合并的并行索引算法，包括并行词频统计和索引转换的方案。最后，针对GPU并行计算的特点，在并行粒度和指令级进行了优化，进一步提高了索引构建的效率。 实验表明，，设计的并行索引构建方案适合GPU计算，相应的优化策略也取得了较好的效果，综合比较，GPU并行索引的效率是CPU的五倍。因此，GPU能够提高文本索引构建的效率。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 刘金娟;张东晨;巩天宁;李涛;;流水线技术及并行计算在GPU中的应用分析[J];软件导刊;2008年09期

2 方建文;于金辉;马文龙;;基于硬件加速和粒子系统的实时喷泉模拟[J];计算机工程与应用;2006年14期

3 许楠;郝爱民;王莉莉;;一种基于GPU的粒子系统[J];计算机工程与应用;2006年19期

4 罗军;王玲;;基于大规模粒子系统的实时喷泉模拟[J];计算机与信息技术;2007年04期

5 林伟明;余轮;;基于GPU多纹理混合技术的循经感传模拟的设计与实现[J];计算机应用与软件;2009年04期

6 李建明;吴云龙;何荣盛;钱昆明;;基于粒子系统和GPU加速的喷泉实时仿真[J];系统仿真学报;2009年10期

7 陈占芳;张国玉;师为礼;任涛;;基于GPU加速的光线跟踪体绘制算法研究[J];长春理工大学学报(自然科学版);2010年01期

8 刘昊;;基于异构平台的细胞神经网络算法研究[J];电子质量;2010年12期

9 王海鹏;吴昊;;可伸缩地形渲染中的GPU光线投射算法[J];微计算机信息;2010年35期

10 郑宝林;赵建峰;;基于GPU的地形渲染技术的研究与实现[J];民营科技;2011年03期

相关会议论文 前10条

1 王一博;常旭;刘伊克;;时域多尺度波形反演方法的GPU实现[A];中国地球物理学会第二十七届年会论文集[C];2011年

2 ;GPU加速基于经验模态分解的高动态范围图像色调映射[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

3 尹凤玲;刘天启;郑亮;张怀;石耀霖;;三维有限元地震波数值模拟的GPU加速[A];中国地球物理2010——中国地球物理学会第二十六届年会、中国地震学会第十三次学术大会论文集[C];2010年

4 郑亮;Taras Gerya;张怀;David A.Yuen;石耀霖;;GPU的内存与线程机制及其在地球动力学计算中的算例[A];中国地球物理2010——中国地球物理学会第二十六届年会、中国地震学会第十三次学术大会论文集[C];2010年

5 刘勐;王健平;;利用GPU进行连续爆轰发动机的并行数值模拟[A];第十四届全国激波与激波管学术会议论文集（下册）[C];2010年

6 石颖;刘洪;;基于GPU的表面多次波预测技术[A];中国科学院地质与地球物理研究所第十届（2010年度）学术年会论文集(中)[C];2011年

7 王健;许明;陈飞国;葛蔚;李静海;;单相流动直接数值模拟在GPU上的实现[A];中国颗粒学会第七届学术年会暨海峡两岸颗粒技术研讨会论文集[C];2010年

8 段玉婷;李靖宇;胡天跃;;基于GPU的三维精细积分法正演模拟[A];中国地球物理学会第二十七届年会论文集[C];2011年

9 方刚;杜启振;;叠前逆时偏移的GPU并行算法[A];中国地球物理学会第二十七届年会论文集[C];2011年

10 陈召曦;孟小红;;海量重磁数据三维约束反演GPU加速试验研究[A];中国地球物理学会第二十七届年会论文集[C];2011年

相关重要报纸文章 前10条

1 记者 严天秀;昆明新机场全球首安“GPU”[N];昆明日报;2010年

2 本报记者 宋家雨;GPU还是CPU? 高性能计算的一个问题![N];网络世界;2010年

3 ;GPU市场Q2创八年最大增幅[N];计算机世界;2009年

4 电脑报 朱文利;GPU助力，高性能计算机“异构化”[N];电脑报;2009年

5 本报记者 霍光;GPU计算逐渐大规模商用[N];中国计算机报;2009年

6 游讯;图形处理器GPU[N];人民邮电;2011年

7 记者 刘欢;全国首个GPU计算应用测试中心在京成立[N];北京日报;2011年

8 李大庆;首套分布式GPU超级计算系统启用[N];中国技术市场报;2010年

9 本报记者 霍光;CPU集成GPU挑战主板设计[N];中国计算机报;2010年

10 刘颖;PCI-E3.0帮GPU开发“副业”[N];电脑报;2010年

相关博士学位论文 前10条

1 石林;GPU通用计算虚拟化方法研究[D];湖南大学;2012年

2 王英俊;结构分析中的GPU并行快速多极边界元法研究[D];华中科技大学;2013年

3 陈钢;众核GPU体系结构相关技术研究[D];复旦大学;2011年

4 刘勇;基于GPU的内存数据库索引技术研究[D];华南理工大学;2013年

5 孙贺;基于GPU加速算法的纳米流体振荡流的分子动力学模拟[D];吉林大学;2013年

6 甘新标;面向众核GPU的编程模型及编译优化关键技术研究[D];国防科学技术大学;2012年

7 刘华海;节点内多CPU多GPU协同并行绘制关键技术研究[D];国防科学技术大学;2012年

8 毛华庆;基于GPU优化的三维实时渲染技术的研究[D];武汉大学;2010年

9 李仕;航空异速像移模糊实时恢复算法研究与GPU平台实现[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2010年

10 毕庆贞;面向五轴高效铣削加工的刀具可行空间GPU计算与刀具方向整体优化[D];上海交通大学;2009年

相关硕士学位论文 前10条

1 刘丹;基于GPU的分子动力学模拟方法研究[D];武汉理工大学;2010年

2 陈枫;基于GPU技术的叠前时间偏移及其在玛湖地区的应用[D];中国地质大学（北京）;2011年

3 覃方涛;基于GPU的车牌定位关键技术并行研究[D];重庆大学;2010年

4 魏卓群;GPU并行免疫算法在冷轧生产调度中的应用[D];大连理工大学;2010年

5 金鹭;基于GPU的表面形貌测量系统的研究[D];浙江大学;2011年

6 谭洪颂;基于GPU加速的真实感渲染系统研究与实现[D];大连理工大学;2010年

7 张煜君;基于GPU的真实感实时渲染技术研究与实现[D];电子科技大学;2011年

8 孙亚妮;基于GPU的正交多幕光线散射补偿算法研究[D];长春理工大学;2010年

9 明星;基于GPU的医学图像三维重建算法及其应用[D];华中科技大学;2009年

10 胡一帆;基于GPU加速的并行人工鱼群算法及其应用[D];浙江大学;2011年

本文编号：2577576