面向分布式搜索引擎的索引库动态维护算法

发布时间：2019-06-29 17:35

【摘要】：分布式搜索引擎在实际运行中存在大量的用户,同时索引更新频繁,而索引更新过程的复杂度使得用户的检索请求响应出现较大的延迟。本文提出一种基于内存映射表的索引库动态维护算法,按照一定时间粒度组织索引库,在内存中维护一个当前可用的子索引库列表,实现索引的透明更新。实验表明,该算法能够保证及时地对新数据建立索引,同时有效降低用户检索请求的响应时间。
[Abstract]:There are a large number of users in the actual operation of the distributed search engine, and the index update is frequent, and the complexity of the index update process leads to a large delay in the response of the user's retrieval request. In this paper, a dynamic maintenance algorithm of index library based on memory mapping table is proposed. The index library is organized according to a certain time granularity, and a list of currently available sub-index libraries is maintained in memory to realize transparent updating of index. The experimental results show that the algorithm can index the new data in time and effectively reduce the response time of the user retrieval request.
【作者单位】： 复旦大学计算机科学技术学院;
【基金】：国家自然科学基金资助项目(61073170)
【分类号】：TP391.3

【参考文献】

相关期刊论文 前3条

1 彭波,李晓明;搜索引擎倒排文件的一种分块组织技术[J];电子学报;2005年02期

2 印鉴;邹胜;;一种分布式搜索引擎设计[J];计算机科学;2001年10期

3 王智强,刘建毅;一种实时更新索引结构的设计与实现[J];计算机系统应用;2005年10期

【共引文献】

相关期刊论文 前10条

1 乔亚男;齐勇;;查询语义图辅助的信息检索性能预测模型[J];电子学报;2011年S1期

2 王冬;左万利;赫枫龄;彭涛;张长利;;一种增量倒排索引结构的设计与实现[J];吉林大学学报(理学版);2007年06期

3 邓攀;刘功申;;一种高效的倒排索引存储结构[J];计算机工程与应用;2008年31期

4 郭琦娟;陈通照;;全文检索系统中动态索引技术的研究[J];计算机与数字工程;2007年01期

5 黄晓梅;王浩;;千万级FTP搜索引擎数据库索引的设计方法探讨[J];考试周刊;2008年11期

6 杜亚军;;智能信息处理及其在搜索引擎中的应用[J];西华大学学报(自然科学版);2007年02期

7 刘阳;宋余庆;;搜索引擎学术研究知识图谱[J];图书情报知识;2010年06期

8 郭琦娟;陈通照;;全文检索系统中动态索引技术的研究[J];微型电脑应用;2006年11期

9 郭琦娟;陈通照;;一种动态更新索引结构的设计与实现[J];计算机系统应用;2006年12期

10 郑榕增;林世平;;基于Lucene的中文倒排索引技术的研究[J];计算机技术与发展;2010年03期

相关硕士学位论文 前10条

1 李江涛;基于旋律特征提取的哼唱式音乐检索[D];哈尔滨工业大学;2009年

2 屈磊;动态全文索引系统关键技术研究[D];哈尔滨工业大学;2009年

3 张靖宇;基于MPI的分布式搜索引擎系统研究[D];江南大学;2009年

4 祁鹏;基于移动搜索的Spider爬行策略的研究和实现[D];成都理工大学;2010年

5 邓攀;开放式文档同构引擎关键技术研究与实现[D];上海交通大学;2009年

6 洪田玉;一种开放式高性能全文检索平台的研究与实现[D];中南大学;2009年

7 谢海潮;手机桌面搜索引擎的研究与实现[D];大连理工大学;2009年

8 曾晔垠;全文索引技术中索引归并算法的研究与分析[D];电子科技大学;2008年

9 丁邦旭;基于P2P的分布式中文搜索引擎的应用研究[D];南昌大学;2006年

10 马蓉平;网站搜索引擎的设计与实现[D];沈阳工业大学;2006年

【二级参考文献】

相关期刊论文 前2条

1 关毅,王晓龙,张凯;现代汉语计算语言模型中语言单位的频度—频级关系[J];中文信息学报;1999年02期

2 刘学文,陶晓鹏,于玉,胡运发;一种全新的全文索引模型——后继数组模型[J];软件学报;2002年01期

【相似文献】

相关期刊论文 前10条

1 未响应;;缩短程序响应时间 让Windows 7运行更快[J];网络与信息;2010年01期

2 zy;;有事说事——液晶显示器购买“前规则”[J];电脑爱好者(普及版);2010年03期

3 李云帆;韩敏;;一个多文档全文检索系统的设计与实现[J];中小企业管理与科技(下旬刊);2010年05期

4 陈琛;孙庆甜;金顺福;;基于批量到达排队模型的WSN中功率管理模式的性能分析[J];仪表技术与传感器;2010年05期

5 阿龙;;急速体验——2ms液晶显示器导购[J];电脑知识与技术(经验技巧);2010年05期

6 孙长乐;郭东明;高航;邹灵浩;;智能数据批量处理控制模型[J];计算机工程与应用;2010年13期

7 陈涛;;网络服务性能监测系统设计与实现[J];现代电子技术;2010年10期

8 阿龙;;娱乐首选——全高清LED液晶导购[J];电脑知识与技术(经验技巧);2010年06期

9 ;优派LED全阵容机型震撼亮相[J];消费电子;2010年08期

10 晓慧;;路遥知马力——PC残酷测试液晶屏篇[J];电脑知识与技术(经验技巧);2010年07期

相关会议论文 前10条

1 陈小磊;卢勇;李臣栋;李国涛;;ACS6000在高线轧制中的应用[A];全国冶金自动化信息网2010年年会论文集[C];2010年

2 刘国庆;;翼城钢铁厂棒材车间1~#、2~#飞剪的设计与调试[A];全国冶金自动化信息网2010年年会论文集[C];2010年

3 王丽伟;刘湘红;张军;吴世华;王淑荣;;ZnO纳米棒的制备及其气敏性研究[A];中国化学会第27届学术年会第04分会场摘要集[C];2010年

4 海日沙·阿不来提;阿达来提·阿不都热合曼;布力孜·伊米提;;金属氧化物/玻璃复合光波导传感元件的研究[A];中国化学会第27届学术年会第09分会场摘要集[C];2010年

5 张健伟;潘梦鹞;刘桂雄;洪晓斌;;基于GFSIN的车载式智能加速度传感单元的设计[A];广州市仪器仪表学会2009年学术年会论文集[C];2010年

6 郑伟;张西正;;基于嵌入式的医用水刀的研究[A];天津市生物医学工程学会第30次学术年会暨生物医学工程前沿科学研讨会论文集[C];2010年

7 刘昌亭;魏志强;贾东宁;;基于Multi-Agent的动态负载平衡技术研究[A];2010国际信息技术与应用论坛论文集[C];2010年

8 徐康兴;;电视图像运动响应特性的参数选择及其测量[A];2009中国电影电视技术学会影视技术文集[C];2010年

9 申福军;周建勤;;生产企业的区域配送中心选址研究[A];中国企业运筹学[2010(1)][C];2010年

10 闫旭光;坎杂;张若宇;江英兰;孙小丽;张海军;;番茄色选机弹齿气缸的仿真研究[A];2010国际农业工程大会现代农机新技术应用研讨会分会场论文集[C];2010年

相关重要报纸文章 前10条

1 安徽记者 陈晶晶　通讯员 王晶;理念先行 质量保证[N];中国邮政报;2011年

2 安徽记者 陈晶晶　通讯员 王晶;理念先行 质量保证[N];中国邮政报;2011年

3 本报记者 卜娜;网游行业陷高流失率泥沼 游戏网站亟待“加速”留用户[N];中国计算机报;2011年

4 Avaya公司客户服务副总裁 Ajay Kapoor;2011年统一通信十大趋势[N];计算机世界;2011年

5 俞毅敏;百名专家解读百种产品质量[N];中国质量报;2010年

6 吕梁市国土资源局 李叔亮;农用地分等定级的研究基础[N];吕梁日报;2010年

7 上海铁路局提供;努力提高机车统计信息化水平[N];人民铁道;2010年

8 记者 杜一鸣　见习记者 刘洋;“靖昊号”智能公交下月上线运营[N];沈阳日报;2010年

9 中国人民大学经济学院 高，

本文编号：2507992