页置换技术在搜索引擎采集器中的应用

发布时间：2018-03-19 16:03

  本文选题：搜索引擎　切入点：采集器　出处：《计算机工程与设计》2009年05期 　论文类型：期刊论文

【摘要】：分析了现有搜索引擎采集器过滤互联网上重复URL的技术,指出了它们在速度和效率方面存在的不足,借鉴了操作系统请求页式存储管理中的页面置换算法,提出了页置换技术在搜索引擎采集器中高数量级过滤重复地址的应用。使用了虚拟存储技术,使得容量不大的内存可以为众多的进程提供资源,该技术较好地解决了在有限系统资源下进行亿量级URL过滤的速度和效率问题。
[Abstract]:This paper analyzes the existing search engine collectors' technology of filtering repeated URL on the Internet, points out their shortcomings in speed and efficiency, and draws lessons from the page replacement algorithm in the request page storage management of the operating system. This paper puts forward the application of page replacement technology in the search engine collector to filter repeat addresses of high order of magnitude. The virtual storage technology is used to make the small memory provide resources for many processes. This technique can solve the problem of speed and efficiency of URL filtering in the limited system resources.
【作者单位】： 台州学院数学与信息工程学院;
【分类号】：TP391.3

【参考文献】

相关期刊论文 前3条

1 刘云生,李国徽;实时内存数据库的装入[J];软件学报;2000年06期

2 张克非;嵌入式实时操作系统分析[J];计算机工程与设计;2005年08期

3 黄贤英,王越,陈媛;嵌入式实时系统内存管理策略[J];计算机工程与设计;2004年10期

【共引文献】

相关期刊论文 前6条

1 谢银桥;李广军;;基于μC/OS-II的一种嵌入式系统内存管理方案[J];福建电脑;2006年07期

2 刘云生,付蔚;主动实时内存数据库的组织与故障恢复[J];计算机工程与应用;2002年09期

3 刘云生,焦金良;内存数据库组织分区法的评析[J];计算机工程与应用;2002年10期

4 刘云生,迟岩;内存受限的实时内存数据库数据装入策略[J];计算机工程;2004年20期

5 徐冀,李跃华;泛型编程及STL在内存数据库中的应用[J];南京工业大学学报(自然科学版);2004年03期

6 胡滨;孙健力;张永平;侯婧熠;;一种内存管理技术的研究与实现[J];计算机工程与设计;2007年05期

相关硕士学位论文 前10条

1 郑瀚;时空分析DBMS-STADBS的数据模型与存储机制的研究[D];南京航空航天大学;2002年

2 张炯;智能网业务控制点负载平衡的研究[D];大连海事大学;2001年

3 张建英;主存数据库技术研究及一个原型系统的构造[D];大连理工大学;2003年

4 何熠;监控组态软件实时数据库的研究[D];天津大学;2004年

5 徐冀;基于组件的内存数据库[D];南京工业大学;2004年

6 武波;实时内存数据库的设计与实现[D];浙江大学;2005年

7 迟岩;实时内存数据库的内外存数据交换处理[D];华中科技大学;2004年

8 晏燕;嵌入式内存数据库引擎的研究与实现[D];电子科技大学;2005年

9 杨雷;OpnkOS实时内核设计[D];西南石油学院;2005年

10 楼俊荣;分布式虚拟靶试系统的实时数据通信与管理技术研究[D];西北工业大学;2006年

【二级参考文献】

相关期刊论文 前10条

1 夏玮玮,沈连丰,肖婕,毛宇斌;嵌入式系统关键技术分析与开发应用[J];单片机与嵌入式系统应用;2003年02期

2 封斌,龚灼,杨学军;实时操作系统保护模式下的内存管理策略[J];华中科技大学学报(自然科学版);2002年03期

3 施军,朱鲁华,沈昌祥,尤晋元;专用安全操作系统[J];计算机研究与发展;2002年05期

4 刘云生,吴绍春,李国徽,胡国玲;一种实时内存数据库组织与管理方法[J];计算机研究与发展;1998年05期

5 刘云生,付蔚;主动实时内存数据库的组织与故障恢复[J];计算机工程与应用;2002年09期

6 肖迎元,刘云生,廖国琼;主动实时内存数据库系统的数据交换策略及实现[J];计算机工程与应用;2004年29期

7 阳慧;LRU算法的研究及实现[J];计算机时代;2004年02期

8 李冬辉,叶利涛;一种新的实时数据库的乐观并发控制协议[J];计算机应用;2004年12期

9 刘云生,李国徽;实时内存数据库的装入[J];软件学报;2000年06期

10 刘云生;关于实时数据库事务[J];软件学报;1995年10期

【相似文献】

相关期刊论文 前10条

1 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期

2 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期

3 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期

4 李国锋;李春伟;;网络搜索引擎技术探析[J];廊坊师范学院学报;2005年04期

5 冷国华;;网页快照帮我快速获取资料[J];电脑爱好者;2011年10期

6 闫淑红;;基于搜索引擎的信息查询技术研究[J];电脑开发与应用;2011年07期

7 康亚娟;;浅谈站内信息搜索系统[J];硅谷;2011年13期

8 孙掌印;;搜索引擎Yahoo与Google的比较分析[J];科技情报开发与经济;2011年17期

9 冯庆峰;;信息时代如何获取信息[J];成功(教育);2011年08期

10 王巧玲;彭静;王春红;;中文分词技术的研究及在Nutch中的实现[J];科技信息;2011年19期

相关会议论文 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

3 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

4 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

5 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

6 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

7 陈磊;茹立云;马少平;;基于用户日志挖掘的搜索引擎广告效果分析[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年

8 吴卫民;王江;;采集器在湖南电网TMR系统中的应用[A];第二十届电工理论学术年会论文集[C];2008年

9 申琪君;;电子地图搜索引擎比较[A];中国地理学会2007年学术年会论文摘要集[C];2007年

10 岑荣伟;刘奕群;张敏;茹立云;马少平;;网络搜索引擎用户行为分析和研究[A];第五届全国信息检索学术会议论文集[C];2009年

相关重要报纸文章 前10条

1 本报记者 朱杰;搜索引擎应用性能分析报告[N];中国计算机报;2009年

2 记者 李建伟;第4代搜索引擎在郑州问世[N];中国知识产权报;2009年

3 记者 赵志鹏;媒体称俄拟建国家搜索引擎[N];新华每日电讯;2010年

4 吴前;搜索引擎“碳排量”惊人[N];中国文化报;2010年

5 记者 李大庆;新型搜索引擎能向用户直接提供所需内容[N];科技日报;2010年

6 深圳大学传播学院、传媒与文化发展研究中心 周裕琼;谁动了我的大脑[N];社会科学报;2010年

7 李大庆;新型搜索引擎直接为用户提供所需内容[N];中国技术市场报;2010年

8 余建斌;搜索引擎市场“烽烟四起”[N];中国高新技术产业导报;2010年

9 迈巴赫 编译;搜索引擎20年[N];计算机世界;2010年

10 记者 秦羽　通讯员 施银峰;全球搜索引擎营销大会在甬举行[N];宁波日报;2010年

相关博士学位论文 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

8 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

9 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

10 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年

相关硕士学位论文 前10条

1 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

2 李海丰;基于Lucene的企业文档搜索引擎研究与应用[D];中南林业科技大学;2009年

3 赵善明;基于Lucene的主题搜索引擎研究[D];西安电子科技大学;2008年

4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

7 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

8 王春芹;搜索引擎主题相关性研究[D];中山大学;2010年

9 詹恒飞;分布式图片搜索引擎设计与实现[D];国防科学技术大学;2010年

10 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

，

本文编号：1634982