基于Web搜索引擎系统的设计与实现

发布时间：2016-05-30 22:12

本文关键词：基于Web搜索引擎系统的设计与实现，由笔耕文化传播整理发布。

《复旦大学》 2011年

基于Web搜索引擎系统的设计与实现

连蒴

【摘要】：为了适应网络信息的飞速增长,并且能够迅速、方便地从网络中获取有效信息,搜索引擎逐渐走进了人们的生活,“竹竹”搜索引擎系统在这样的条件下,应运而生。本文首先系统的介绍了搜索引擎的概念、发展历史、和搜索引擎的分类。然后,对“竹竹”搜索引擎系统进行需求分析,对系统进行总体设计,并对系统的各个功能模块进行详细的设计和实现,最后“竹竹”搜索引擎系统进行了测试。 “竹竹”搜索引擎是基于Web的,面向笔记本电脑品牌的搜索引擎。系统的前端以MVC模式来实现,Spring做中间层,JDBC作后端来开发实现的。本系统分为三个子模块,抓取模块实现的功能为：将web上的海量网页抓取到系统中；该模块使用Heritrix来完成对网页的抓取。处理模块实现的功能为：解析网页,提取其中的有用内容,为网页建立词库,由于笔记本电脑的品牌名在现有词库中不存在,因此要建立其特有的词库文件,对解析网页生成的信息文件进行分词,并建立索引,将索引存入数据库中；该模块通过Lucene的API来实现对网页内容的建索,使用HTMLParser的API实现了对网页内容的解析。用户模块实现的主要功能是：用户模块是系统的用户接口；用户通过此模块完成与系统的交互,当用户在查询界面上输入要检索的品牌信息后,系统将在可以接受的时间内,返回用户所需的结果集；该模块通过DWR封装了AJAX技术,处理用户请求；通过Lucene的API来实现检索。

【关键词】：
【学位授予单位】：复旦大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP391.3
【目录】：

下载全文更多同类文献

CAJ全文下载

(如何获取全文？欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【引证文献】

中国硕士学位论文全文数据库前2条

1 蒋成;网络危害源过滤与侦测追踪系统设计与实现[D];大连理工大学;2013年

2 田瑞云;基于Hadoop的CDN-P2P系统中内容预测机制研究与实现[D];北京邮电大学;2013年

【参考文献】

中国期刊全文数据库前1条

1 佘正平;;搜索引擎原理及存在问题[J];图书情报论坛;2006年04期

【共引文献】

中国期刊全文数据库前10条

1 成典勤;;基于JSP技术的Web应用[J];安康师专学报;2005年06期

2 凌宗云;;基于J2EE的学生就业信息管理系统的分析与设计[J];信息安全与技术;2011年08期

3 闻永萍;;基于JSP的电子商务网站开发[J];信息安全与技术;2011年11期

4 张勇;;Java线程实现分析[J];办公自动化;2010年20期

5 郭娜;黄永平;吴学义;马彧;;基于插件的动态模块框架研究[J];吉林大学学报(信息科学版);2008年01期

6 郑天华;王学成;;基于Eclipse的通用用户权限管理插件的设计与实现[J];长春理工大学学报;2005年04期

7 马惟哲;;B/S+C/S结构的报名系统[J];浙江传媒学院学报;2008年02期

8 么炜;吴玉洁;董素芬;;基于多元线性回归分析的设施农业信息系统[J];河北农业大学学报;2011年01期

9 邢素萍;陈煜;;在Java巧用JDOM来生成和处理XML文档[J];电脑学习;2009年06期

10 程鹏;王建勇;黄文卓;林丽燕;;基于Web的电力系统数据模型转换[J];电力自动化设备;2006年10期

中国重要会议论文全文数据库前6条

1 杨卫明;;独立式搜索引擎原理及存在问题分析[A];2008年计算机应用技术交流会论文集[C];2008年

2 周永;廖竞;;“三个有利于”在计算机基础课程教学中的应用[A];2008年计算机应用技术交流会论文集[C];2008年

3 张银南;梅万龙;;基于Java的银行自助终端系统开发[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年

4 周永;陈宁;;几种典型汉字编码之间转换的原理与实现[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

5 姜波;杨晶;何剑虹;陈祥光;;钢轨供应链系统的研究与实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年

6 余平祥;张丽红;刘伟章;余金昌;;双代号网络图自动生成系统研究与实现[A];农业系统工程理论与实践研究——全国农业系统工程学术研讨会论文集[C];2006年

中国博士学位论文全文数据库前4条

1 张向奎;汽车车身部件快速成形仿真技术平台与关键算法研究[D];吉林大学;2008年

2 刘竟;面向概念检索的农史信息门户的设计与构建[D];南京农业大学;2008年

3 朱东来;多模型驱动的面向服务系统开发方法与技术研究[D];复旦大学;2009年

4 李倩;富钴和富硒物料湿法处理工艺及理论基础研究[D];中南大学;2013年

中国硕士学位论文全文数据库前10条

1 张静;基于SON微微基站的网络管理系统设计与实现[D];哈尔滨工程大学;2010年

2 王虹;辽河油田油井远程监控服务系统[D];大连理工大学;2010年

3 李德路;青岛远洋船舶调度管理系统设计[D];中国海洋大学;2010年

4 徐斌;基于J2EE的石化运维管理平台的研究与实现[D];江西师范大学;2010年

5 吴海应;江西电信网上营业厅系统的设计与实现[D];江西师范大学;2010年

6 阳明亮;省烟草电子商务系统的设计与实现[D];华东师范大学;2010年

7 杨新兵;县城行政执法人员管理系统的设计与实现[D];华东师范大学;2010年

8 李彦华;卫星网络管理系统中的自检验与更新技术研究[D];沈阳理工大学;2010年

9 江韬;广州市防雷检测业务系统设计与实现[D];华南理工大学;2010年

10 朱德能;乐家卫浴公司人力资源管理系统设计与实现[D];华南理工大学;2010年

【同被引文献】

中国期刊全文数据库前10条

1 吴鹏飞;;基于WVTool的文本向量空间模型研究与实现[J];电脑编程技巧与维护;2012年05期

2 方娟;梁文灿;;一种基于协同过滤的网格门户推荐模型[J];电子与信息学报;2010年07期

3 徐风苓;孟祥武;王立才;;基于移动用户上下文相似度的协同过滤推荐算法[J];电子与信息学报;2011年11期

4 黄武汉;孟祥武;王立才;;移动通信网中基于用户社会化关系挖掘的协同过滤算法[J];电子与信息学报;2011年12期

5 宗瑜;金萍;陈恩红;李红;刘仁金;;面向Weblog的模糊协同聚类算法[J];电子与信息学报;2012年03期

6 李艺红;蒋秀凤;;中文句子倾向性分析[J];福州大学学报(自然科学版);2010年04期

7 王雷;;浅析互联网信息智能整合系统关键技术[J];计算机光盘软件与应用;2012年11期

8 李振星,徐泽平,唐卫清,唐荣锡;全二分最大匹配快速分词算法[J];计算机工程与应用;2002年11期

9 王伟强;高文;段立娟;;Internet上的文本数据挖掘[J];计算机科学;2000年04期

10 蒋海;李军;李忠诚;;混合内容分发网络及其性能分析模型[J];计算机学报;2009年03期

中国博士学位论文全文数据库前1条

1 黄永生;基于用户社会属性的点对点内容分发网络模型研究[D];北京邮电大学;2010年

中国硕士学位论文全文数据库前6条

1 艾伟;基于本体的Web信息文本挖掘与检索服务研究[D];北京信息控制研究所;2010年

2 徐仰彬;基于SOM的文本聚类及其在搜索结果中的应用[D];西安电子科技大学;2007年

3 高加旺;基于支持向量机的垃圾邮件过滤模型研究[D];哈尔滨理工大学;2008年

4 韩立宝;基于P2POverCDN和RTSP的流媒体代理服务器的设计与实现[D];西安电子科技大学;2008年

5 熊潇;基于搜索引擎索引分析的互联网舆情监控研究[D];上海交通大学;2009年

6 朱涛;基于P2P的内容分发网络的系统结构资源搜索与路由算法研究[D];电子科技大学;2008年

【二级参考文献】

中国期刊全文数据库前4条

1 徐建华;网络搜索引擎原理、特性分析及未来发展趋势[J];图书情报工作;2000年08期

2 韩梅;网络搜索引擎研究综述(1994~2004年)[J];图书馆学研究;2005年10期

3 晏一平;岳泉;;中外元搜索引擎的比较研究[J];图书馆学研究;2005年11期

4 杨应全,文汝,黄登婕;搜索引擎的不足与应用经验[J];现代情报;2005年07期

【相似文献】

中国期刊全文数据库前10条

1 李树青;崔北亮;;搜索引擎系统中的Web个性化信息推荐技术[J];情报杂志;2006年09期

2 王弼佐;游运华;王茜;;基于Ontology的个性化智能知识检索模型[J];情报杂志;2006年10期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

中国硕士学位论文全文数据库前1条

1 王慕泼;企业集团的智能搜索引擎平台的建立[D];浙江理工大学;2014年