基于位置敏感哈希的分布式高维索引方法研究

发布时间：2019-09-16 10:16

【摘要】：随着互联网的发展，图像、音频、视频等多媒体数据正在飞速地增长，如何快速地帮助用户检索到所需要的多媒体数据成为当前搜索引擎技术的一大挑战。虽然，目前已经有较多研究机构和商业公司推出了基于内容的图像搜索引擎，但在实际应用中，其准确性、查全率等还有较大的提升空间。同时，在基于内容的图像搜索引擎研究中，高维索引的存储量大和计算开销大等问题一直是研究的热点。 针对上述问题，在分析位置敏感哈希索引算法以及Hadoop分布式系统的基础上，，研究改进了现有高维索引计算模型和索引结构的方法。根据位置敏感哈希索引的特点，改进了现有位置敏感哈希索引为松耦合的索引结构，从而可以将索引文件分布式部署在多个查询节点中并实现高并发的索引查询。同时，通过MapReduce分布式计算模型来实现索引构造的并行化，提高了索引构造的效率，从而解决高维索引计算开销大的问题，并采用分布式数据库来存储海量高维索引数据，增强了系统可扩展性。索引查询模块采用高并发的查询集群来提供索引查询服务，可以满足海量用户的查询请求，同时为了降低索引查询过程的IO开销，查询节点将索引文件导入内存，并实现了查询集群的内存索引管理系统。 实验结果表明，分布式计算模型和分布式存储系统的引入很好地解决了海量数据情况下索引构造性能不高以及索引存储模块可扩展性不强等问题。同时，松耦合的索引结构降低了索引查询集群的通信开销，从而能够提供高并发、快速的索引检索服务。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 庄毅;庄越挺;吴飞;;基于混合距离树的海量书法字索引[J];计算机辅助设计与图形学学报;2007年02期

2 周项敏,王国仁;基于关键维的高维空间划分策略[J];软件学报;2004年09期

3 梁俊杰;冯玉才;;BC-iDistance:基于位码的优化高维索引[J];小型微型计算机系统;2007年09期

4 崔江涛;郭勇;李广鑫;;采用动态主分量距离测度的视频索引技术[J];西安电子科技大学学报;2009年06期

5 林坤辉;徐焕;周昌乐;;图像数据库基于内容检索的索引方法研究[J];厦门大学学报(自然科学版);2006年04期

6 于林森;张田文;张开越;;图像检索中的相似性判别及索引方法综述[J];小型微型计算机系统;2007年02期

7 李嘉;蓝秋萍;费立凡;;适用于遥感光谱数据集的高维索引技术研究[J];计算机工程与应用;2009年21期

8 王汉;王兵;李悦;汤进;;基于R树的图像检索方法[J];计算机与现代化;2011年01期

9 叶航军,徐光yP;基于矢量量化的快速图像检索[J];软件学报;2004年05期

10 崔江涛;孙君顶;周利华;;基于相关反馈的高维图像检索方法[J];西安电子科技大学学报;2006年01期

相关会议论文 前10条

1 沈宇希;于沛;周荣贵;刘怡;;用于多媒体DBMS的VA-cluster file高维索引方法[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

2 杨志荣;李虹;李磊;;利用高维索引实现关系数据库的向量连接运算[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

3 冯玉才;梁俊杰;曹忠升;;基于主存的优化高维索引树[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

4 杨成韫;荣芳;彭子风;;基于客户/服务器结构的空间数据分布式处理研究[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展（上册）[C];2001年

5 陈娟;;对分布式协同设计中多媒体系统的语义的分析表达[A];2005年全国理论计算机科学学术年会论文集[C];2005年

6 彭耀;;煤矿计量系统的分析与设计[A];山东省煤炭学会2006年年会论文集[C];2006年

7 郑新建;夏明安;胡凡建;;轿车风扇三坐标测量的技巧[A];2005年十二省区市机械工程学会学术年会论文集（湖北专集）[C];2005年

8 庄毅;胡华;袁承祥;蒋国昌;胡海洋;琚春华;;基于流形空间的交互式人脸图像索引(英文)[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

9 常俊林;魏巍;梁君燕;;基于支持向量机的SURF改进算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年

10 汪力;叶桦;马铸;;基于XML Web服务监控系统的设计与实现[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年

相关重要报纸文章 前10条

1 朱杰;采用分布式设计构建灵活网络[N];中国计算机报;2008年

2 ;普天TD-SCDMA分布式Node B解决方案[N];中国电子报;2006年

3 星雨;从通用走向实用[N];中国计算机报;2004年

4 任续烨;一个端口一个关[N];中国计算机报;2004年

5 ;Sonus开放服务体系结构[N];网络世界;2002年

6 记者 胡英;树第二代万兆技术标杆[N];计算机世界;2003年

7 任续烨;万兆已然第二代[N];中国计算机报;2003年

8 北京中科泛华测控技术有限公司总经理 左毅;柔性测试具有三大特性[N];中国电子报;2008年

9 本报记者 海波;SPOH技术：迈入同步式硬件交换时代[N];计算机世界;2004年

10 ;思科提供下一代IP网的运营级路由系统[N];中国电子报;2005年

相关博士学位论文 前10条

1 崔江涛;高维索引技术中向量近似方法研究[D];西安电子科技大学;2005年

2 梁俊杰;大规模图像库的高维索引技术研究[D];华中科技大学;2007年

3 庄毅;海量多媒体数据库的高效查询处理[D];浙江大学;2007年

4 李嘉;基于内容的多光谱遥感影像检索若干关键技术研究[D];华中科技大学;2009年

5 田阳;行星着陆器自主导航与控制方法研究[D];哈尔滨工业大学;2009年

6 李立春;基于无人机序列成像的地形重建及其在导航中的应用研究[D];国防科学技术大学;2009年

7 丁南南;基于特征点的图像配准技术研究[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2012年

8 林睿;基于图像特征点的移动机器人立体视觉SLAM研究[D];哈尔滨工业大学;2011年

9 王艳霞;图像轮廓提取与三维重建关键技术研究[D];重庆大学;2010年

10 张洁玉;图像局部不变特征提取与匹配及应用研究[D];南京理工大学;2010年

相关硕士学位论文 前10条

1 林朝辉;基于位置敏感哈希的分布式高维索引方法研究[D];华中科技大学;2012年

2 李国栋;分布式车辆监控管理系统的研究与实现[D];上海交通大学;2010年

3 谢晓龙;分布式知识处理理论与系统实现[D];哈尔滨工业大学;2011年

4 戴维娇;分布式安全防火墙支持TR069的设计与实现[D];华中科技大学;2010年

5 李彬;医学影像资源检索平台中索引技术研究[D];沈阳工业大学;2011年

6 刘金贵;车辆匹配与车辆跟踪技术研究[D];西南交通大学;2010年

7 薛万宇;医学图像数据库原型系统研究[D];江苏大学;2007年

8 陈勋;水下结构表观缺陷检测技术及系统集成研究[D];哈尔滨工业大学;2010年

9 田中金;基于分区变形颅面复原算法的研究与实现[D];西北大学;2011年

10 卢佳;高维索引技术及其在医学图像数据库中的应用[D];江苏大学;2005年

本文编号：2536133