当前位置:主页 > 科技论文 > 搜索引擎论文 >

基于移动Agent的主题搜索引擎研究

发布时间:2016-06-18 13:01

  本文关键词:基于移动Agent的主题搜索引擎研究,由笔耕文化传播整理发布。


《上海海事大学》 2006年

基于移动Agent的主题搜索引擎研究

刘宾  

【摘要】:信息技术的飞速发展,导致了Internet上的信息量不断膨胀,网络已经成为人们获得信息的必要途径和重要手段,尽管通用搜索引擎已经在某种程度上缓减了人们对Internet信息获取的难度,但随着技术的发展和信息总量的增多,人们对于搜索引擎提出了更多的要求,主题资源搜索便是人们期望的目标之一。Web主题资源自动搜索技术可以充分利用Web上大量的免费资源,通过自动化的主题搜索过程,构建主题资源库,可以提高人们对于主题信息资源获取的效率与质量。 本文首先分析了搜索引擎的发展状况,阐述了搜索引擎各主要部分的工作原理,在此基础之上,探讨了主题搜索引擎的研究背景,分析了主题型Web搜索研究兴起的原因,,及其潜在的研究价值,通过阅读文献,给出了一些比较有代表性的系统的描述。详尽地分析了主题搜索中的几个关键技术,包括主题概念定义、主题资源发现技术,主题爬行器的构造、主题爬行的启发策略及其算法实现,阐述了主题搜索的内涵与外延。 在分析主题搜索引擎页面爬行特点的基础之上,结合Agent技术的相关知识,提出了使用移动Agent进行主题信息收集的方法,分析了采用这种方法能带来的潜在的爬行效率的提升,尤其是网络带宽资源占用情况方面的改善,给出了一个基于移动Agent的主题搜索引擎系统原型,并描述了各个部分的主要功能,并对其中的几个关键部分给出了具体实现的方法,包括:主题特征的提取、移动Agent的系统框架、移动Agent的具体工作过程、主题页面的采集与内容解析和主题相关度的计算等。此外,作为主题搜索引擎的扩展,简述了用户自定义主题信息搜索的方法。 最后,在移动Agent平台——IBM aglets上设计并实现了一个基于移动Agent的主题信息爬行器,并通过实验,对比分析了基于移动Agent的主题页面爬行方式与以往工作方式的性能效率差异。实验表明,此种方法能有效减少传统方法下获取页面时,无关信息造成的网络负载,提高主题信息的获取效率。

【关键词】:
【学位授予单位】:上海海事大学
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:TP391.3
【目录】:

  • 第1章 绪论9-13
  • 1.1 研究背景9-10
  • 1.2 研究现况概述10-11
  • 1.3 本文的主要工作及内容组织11-13
  • 第2章 搜索引擎的发展及其实现原理13-23
  • 2.1 搜索引擎简介13
  • 2.2 搜索引擎的发展历史13-14
  • 2.3 搜索引擎分类14-15
  • 2.4 搜索引擎的工作原理15-20
  • 2.4.1 爬行器技术16-17
  • 2.4.2 存储技术17-18
  • 2.4.3 索引技术18-20
  • 2.4.4 检索技术20
  • 2.5 搜索引擎的几类研究方向20-22
  • 2.5.1 基于整个Web构建的搜索引擎20-21
  • 2.5.2 基于主题的搜索引擎21
  • 2.5.3 个性化的Web搜索引擎21
  • 2.5.4 基于Agent的搜索引擎21-22
  • 2.6 小结22-23
  • 第3章 主题搜索引擎23-34
  • 3.1 主题搜索研究背景23
  • 3.2 主题搜索的研究现况23-25
  • 3.3 主题搜索的特点25-26
  • 3.4 主题搜索关键技术26-32
  • 3.4.1 “主题”的概念26
  • 3.4.2 主题资源发现技术26-28
  • 3.4.3 主题爬行器28-29
  • 3.4.4 主题爬行器的启发策略29-32
  • 3.4.4.1 Best First搜索策略30
  • 3.4.4.2 Fish Search搜索策略30-31
  • 3.4.4.3 Shark Search搜索策略31-32
  • 3.4.5 主题搜索中的隧道穿越技术32
  • 3.5 主题搜索的内涵与外延32-33
  • 3.6 小结33-34
  • 第4章 Agent技术34-41
  • 4.1 Agent概念及其产生背景34
  • 4.2 Agent的特性34-35
  • 4.3 Agent的类型35
  • 4.4 Agent的结构及其平台参考模型35-37
  • 4.5 移动Agent技术37-39
  • 4.6 Agent的主要应用及常见应用平台39-40
  • 4.6.1 Agent主要应用39
  • 4.6.2 常见Agent平台/系统简介39-40
  • 4.7 小结40-41
  • 第5章 基于移动Agent的主题搜索引擎41-63
  • 5.1 基于移动Agent的主题搜索引擎系统概述41-43
  • 5.2 基于移动Agent的主题搜索引擎各模块功能描述43-45
  • 5.3 各部分的具体实现45-62
  • 5.3.1 主题定义模板45-47
  • 5.3.1.1 基于统计的特征提取算法46-47
  • 5.3.1.2 支持向量机(SVM)47
  • 5.3.1.3 中文分词47
  • 5.3.2 Agent运行平台及其工作方式47-51
  • 5.3.2.1 Aglet系统框架48
  • 5.3.2.2 Aglet对象模型及迁移方式48-51
  • 5.3.3 主题信息搜索Agent的构造及工作过程51-53
  • 5.3.4 一种AgCrawler迁移目标的更新策略53-54
  • 5.3.5 主题页面的采集与分析54-60
  • 5.3.5.1 页面信息获取过程55-56
  • 5.3.5.2 优先爬行机理56-58
  • 5.3.5.3 Web页面内容的解析及噪音信息的过滤58-60
  • 5.3.6 URL主题相关度的计算60-61
  • 5.3.7 用户自定义主题信息搜索61-62
  • 5.4 小结62-63
  • 第6章 实验及结果分析63-68
  • 6.1 Tahiti平台上Aglets的运行63-64
  • 6.2 主题特征的构造64-65
  • 6.3 实验过程及结果分析65-67
  • 6.4 小结67-68
  • 第7章 总结与进一步工作68-70
  • 7.1 本文总结68-69
  • 7.2 进一步工作69-70
  • 致谢70-71
  • 参考文献71-74
  • 附录A 部分程序代码74-78
  • 附录B 攻读硕士学位期间发表的论文和参与的科研项目78
  • 下载全文 更多同类文献

    CAJ全文下载

    (如何获取全文? 欢迎:购买知网充值卡、在线充值、在线咨询)

    CAJViewer阅读器支持CAJ、PDF文件格式


    【相似文献】

    中国期刊全文数据库 前10条

    1 ;李彦宏论搜索引擎三个定律[J];新电子;2001年02期

    2 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期

    3 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期

    4 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期

    5 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期

    6 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期

    7 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期

    8 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期

    9 ;成长中的谷歌[J];IT时代周刊;2011年18期

    10 林丽华;;用好SOSO的微博搜索功能[J];电脑迷;2011年16期

    中国重要会议论文全文数据库 前10条

    1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

    2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

    3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年

    4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

    5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

    6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

    7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

    8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

    9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

    10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年

    中国重要报纸全文数据库 前10条

    1 王宏亮;[N];财经时报;2006年

    2 主持人 陈建栋;[N];光明日报;2005年

    3 本报记者 陈建栋;[N];光明日报;2005年

    4 曾正乐;[N];经济日报;2005年

    5 本报记者 秦海波;[N];经济日报;2005年

    6 FN记者 柳立;[N];金融时报;2005年

    7 闫辉;[N];计算机世界;2005年

    8 本报记者 李剑;[N];通信信息报;2005年

    9 华夏;[N];江苏科技报;2008年

    10 记者 毛涛涛;[N];北京商报;2008年

    中国博士学位论文全文数据库 前10条

    1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

    2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

    3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

    4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

    5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

    6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

    7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

    8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

    9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年

    10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

    中国硕士学位论文全文数据库 前10条

    1 聂颂;具有自动分类功能的主题搜索引擎的研究[D];天津大学;2004年

    2 任妤;基于Nutch的科技主题搜索引擎Crawler的研究与实现[D];内蒙古科技大学;2011年

    3 罗伟;基于移动Agent的主题搜索引擎研究[D];中南民族大学;2008年

    4 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

    5 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

    6 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

    7 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

    8 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

    9 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

    10 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年


      本文关键词:基于移动Agent的主题搜索引擎研究,由笔耕文化传播整理发布。



    本文编号:58731

    资料下载
    论文发表

    本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/58731.html


    Copyright(c)文论论文网All Rights Reserved | 网站地图 |

    版权申明:资料由用户31636***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com