基于网络爬虫的电影集成搜索系统设计与实现

发布时间：2017-04-08 18:43

  本文关键词：基于网络爬虫的电影集成搜索系统设计与实现，由笔耕文化传播整理发布。

【摘要】：如今电影逐步成为受广大群众喜爱的娱乐方式。网络影视数据资源丰富且增长速度迅猛，使得如何有效的整合网络资源变成一项重要工作.电影信息集成网站是一个全面且完善的电影信息平台，用户通过该平台，从信息的海洋中迅速准确的获取自己所需，使搜集感兴趣的影资料、与其他爱好者分享感受及挖掘新的优秀电影作品变得更为简单方便。 本文本着“以用户体验为最高宗旨”的设计思想，确定了基于网络爬虫的电影集成搜索网站的功能需求及设计目标，重点对J2EE技术及搜索引擎进行了较深入的了解研究，特别对于搜索引擎技术的不同实现方式进行了性能及搜索准确率的测试对比与深入研究，，同时对J2EE不同框架技术进行了深入研究，提出了自己对电影集成网站的原型设和具体技术实现方法。本设计完成了电影集成搜索网站的开发工作，利用目前网络电影信息结构，进行对比与抽离，抽象出系统设计的数据对象，并通过Mysql数据库对数据关系进行设计，使用java程序对于网络数据行进抓取与整合，并集成J2EE框架与搜索引擎对数据进行管理。采用B/S设计模式,完成对网络电影信息的抓取与集成并统一提供给用户数据搜索与收藏交流。
【关键词】：电影 J2EE B/S模式 Mysql 搜索
【学位授予单位】：江西农业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52
【目录】：

• 摘要5-6
• Abstract6-7
• 1 绪论7-10
• 1.1 概述7
• 1.2 现状分析7-8
• 1.3 项目目标与研究内容8
• 1.3.1 项目目标8
• 1.3.2 研究内容8
• 1.4 系统研究的意义8-9
• 1.5 论文构成9-10
• 2 开发方法和技术选择10-15
• 2.1 开发方法10-11
• 2.1.1 面向对象开发方法简介10-11
• 2.1.2 J2EE 简介11
• 2.2 技术选择11-15
• 2.2.1 Jquery 简介12
• 2.2.2 SpringMVC 介绍12
• 2.2.3 Lucene 介绍12-13
• 2.2.4 Hibernate 介绍13-14
• 2.2.5 Htmlparser 介绍14-15
• 3 可行性分析与需求分析15-23
• 3.1 可行性分析15
• 3.2 需求分析15-21
• 3.2.1 功能需求概述15
• 3.2.2 性能需求概述15-16
• 3.2.3 数据字典16-21
• 3.3 用户角色用例图21-23
• 4 总体设计23-26
• 4.1 概述23
• 4.2 功能总体设计23-24
• 4.2.1 系统功能结构图23-24
• 4.3 接口设计24-26
• 5 详细设计26-34
• 5.1 概述26
• 5.2 系统流程图26-27
• 5.3 系统主要功能的类图设计27-28
• 5.4 数据库设计28-34
• 5.4.1 E-R 实体图设计28-30
• 5.4.2 数据库表的设计30-34
• 6 系统实现与维护34-45
• 6.1 系统首页34-35
• 6.2 电影详情页面35
• 6.3 电影信息收索结果页面35-36
• 6.4 电影评论页面36-37
• 6.5 基于网络爬虫的电影信息自动录入37-40
• 6.6 测试方法40-41
• 6.7 测试用例设计41-43
• 6.8 系统维护43-45
• 6.8.1 软件限制43
• 6.8.2 软件安装指南43-44
• 6.8.3 维护建议44-45
• 参考文献45-47
• 致谢47

【相似文献】

中国期刊全文数据库 前10条

1 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期

2 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期

3 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

4 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

5 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

6 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

7 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

8 曹忠;赵文静;;一种优化的网络爬虫的设计与实现[J];电脑知识与技术;2008年35期

9 邹海亮;孙莉;;可定制的聚焦网络爬虫[J];电子科技;2009年01期

10 杨松梅;;网络爬虫[J];硅谷;2009年15期

中国重要会议论文全文数据库 前5条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

4 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

5 王庆广;何力;韩伟红;;基于爬虫的有害网站发现与判别系统的实现[A];第27次全国计算机安全学术交流会论文集[C];2012年

中国硕士学位论文全文数据库 前10条

1 龚秋艳;并行网络爬虫设计与实现[D];华东师范大学;2010年

2 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

3 陈奋;过滤型网络爬虫的研究与设计[D];厦门大学;2007年

4 金梅;网络爬虫性能提升与功能拓展的研究与实现[D];吉林大学;2012年

5 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

6 赵茉莉;网络爬虫系统的研究与实现[D];电子科技大学;2013年

7 谭龙远;基于领域的网络爬虫技术的研究与实现[D];武汉理工大学;2009年

8 张红云;基于页面分析的主题网络爬虫的研究[D];武汉理工大学;2010年

9 赵鹏程;分布式书籍网络爬虫系统的设计与实现[D];西南交通大学;2014年

10 杜一平;主题搜索网络爬虫的设计与研究[D];中国科学技术大学;2009年

  本文关键词：基于网络爬虫的电影集成搜索系统设计与实现，由笔耕文化传播整理发布。

本文编号：293472