面向数码商品垂直搜索引擎原型系统的设计与实现

发布时间：2016-06-24 02:06

  本文关键词：面向数码商品垂直搜索引擎原型系统的设计与实现，，由笔耕文化传播整理发布。

《西南交通大学》 2014年

面向数码商品垂直搜索引擎原型系统的设计与实现

杨静娴  

【摘要】：随着互联网技术的快速发展,用户的检索需求也在不断的变更,面对用户越来越个性化和专业化的检索需求,传统的综合搜索引擎已经逐渐满足不了信息检索用户的需求,用户开始偏向使用更加专业化、行业化、个性化的垂直搜索引擎。垂直搜索引擎发展持续增快,用户逐渐增多,它所涉及的领域也越来越多,在日常生活中,垂直搜索引擎的发展使用户能够快速、精准地定位检索信息,摆脱“信息迷航”和“信息过载”所带来的困扰,以“专、精、深”为检索特点的垂直搜索引擎从而成为了目前搜索引擎的发展方向。 现在越来越多的用户通过互联网来了解和购买数码商品,一方面促进了数码商品电子商务的发展,另一方面用户对搜索引擎的服务也有了越来越高的要求。摒弃大量的冗余数据和广告信息,垂直搜索引擎针对特定领域、特定人群或特定需求提供信息和相关服务的特点与数码商品检索的需求很好地契合。 本文设计并实现了一款面向数码商品垂直搜索引擎的原型系统,以高效搜索为实现目标,应用垂直搜索引擎和Hadoop云计算平台的相关理论和技术予以实现。本文在掌握网络爬虫和MapReduce的工作原理和相关技术之后,编写实现了数码商品的网络爬虫：在分析和掌握基于网页结构的信息抽取方式和基于正则表达式的信息抽取方式基础上,编程实现了信息抽取功能；在分析和掌握信息索引的相关原理和技术之后,设计信息索引结构、改进西南交通大学分词系统和TF-IDF算法,结合MapReduce编程模型实现了数码商品信息的索引功能；运用JSP技术实现用户查询页面设计。该原型系统实现了设计中所有需求的功能,满足了用户检索数码商品的需求,具有一定的实际应用价值。

【关键词】：
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.3
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前10条

1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

2 汲业;陈燕;杨健;慕蓉;;生活服务领域垂直搜索引擎的设计与实现[J];计算机工程;2010年24期

3 王新;刘晓霞;;基于关联规则挖掘的垂直元搜索引擎研究[J];计算机工程;2011年04期

4 黄承慧;印鉴;侯昉;;一种结合词项语义信息和TF-IDF方法的文本相似度量方法[J];计算机学报;2011年05期

5 谭龙江;;基于搜索引擎优化的网络宣传机模型[J];计算机应用;2010年08期

6 刘运强;;垂直搜索引擎的研究与设计[J];计算机应用与软件;2010年07期

7 黄蔚;刘忠;刘全;;RL_Spider:一种自主垂直搜索引擎网络爬虫[J];计算机应用与软件;2011年12期

8 张思发;马永格;;面向地学信息领域垂直搜索引擎设计与实现[J];计算机工程与应用;2012年33期

9 冯汝伟;谢强;丁秋林;;基于文本聚类与分布式Lucene的知识检索[J];计算机应用;2013年01期

10 李璋;杜慧敏;张丽果;;基于分布式存储的正则表达式匹配算法设计与实现[J];计算机科学;2013年03期

【共引文献】

中国期刊全文数据库 前10条

1 杜玉辉;蒋姣丽;;大数据背景:高速公路收费系统数据的现状、分析与展望[J];电脑知识与技术;2012年15期

2 于海宁;张宏莉;方滨兴;余翔湛;;物联网中物理实体搜索服务的研究[J];电信科学;2012年10期

3 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

4 黄晓斌;钟辉新;;大数据时代企业竞争情报研究的创新与发展[J];图书与情报;2012年06期

5 袁磊;赵俊三;李红波;;物联网空间数据仓库框架体系及关键技术分析[J];地理信息世界;2013年01期

6 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期

7 陈云海;黄兰秋;;大数据处理对电子商务的影响研究[J];电信科学;2013年03期

8 吴建军;;网络舆情的云计算监测模式分析与实现[J];电讯技术;2013年04期

9 马建光;姜巍;;大数据的概念、特征及其应用[J];国防科技;2013年02期

10 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期

中国重要会议论文全文数据库 前5条

1 韩子扬;李贵;李征宇;王凤英;;基于分布式结构的Deep Web结构化数据抽取系统[A];第九届沈阳科学学术年会论文集[C];2012年

2 韩子扬;李贵;李征宇;王凤英;;基于分布式结构的Deep Web结构化数据抽取系统[A];第九届沈阳科学学术年会论文集（信息科学与工程技术分册）[C];2012年

3 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

4 陈德华;解维;李悦;;面向大规模图数据的分布式并行聚类算法研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

5 Junjie Wang;Depeng Dang;Pengxia Zhou;Hongjie Wang;Xue Jiang;Shihang Huang;;Crawling Strategy Based on Domain Ontology of Emergency Plans[A];2013教育技术与信息系统国际会议论文集[C];2013年

中国博士学位论文全文数据库 前10条

1 刘娜;文本自动摘要和信息抽取方法及其应用研究[D];大连海事大学;2012年

2 王静;基于本体的中医文献诊疗信息的智能检索示范研究[D];中国中医科学院;2012年

3 王秀红;文本相似度计算核函数的构造及其在分布式信息检索中的应用研究[D];江苏大学;2012年

4 彭菲菲;网络热点话题发现的关键技术研究[D];中国矿业大学(北京);2012年

5 俞唯仁;普适的结构相似度在大规模网络中的计算优化技术研究[D];东华大学;2012年

6 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年

7 朱朝勇;基于本体的知识库分类研究[D];中国科学技术大学;2013年

8 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

9 周勇;基于并行计算的数据流处理方法研究[D];大连理工大学;2013年

10 蒋鸿玲;基于流量的僵尸网络检测方法研究[D];南开大学;2013年

中国硕士学位论文全文数据库 前10条

1 冯叶磊;基于隐语义的中医药文献搜索引擎[D];浙江大学;2011年

2 孙华昱;Lucene在医学影像资源检索平台中的应用[D];沈阳工业大学;2011年

3 周兵;基于分布式精准采集的垂直搜索引擎的研究与实现[D];北京邮电大学;2011年

4 何忠育;分布式社会网络分析支撑系统研究与应用[D];广东工业大学;2011年

5 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年

6 廖玉兰;基于分布式的决策树方法研究[D];电子科技大学;2011年

7 王毅;基于Hadoop的Slope One及其改进算法实现[D];西南交通大学;2011年

8 杜洪伟;软件安全领域垂直搜索引擎的优化设计与实现[D];天津大学;2010年

9 李锐鑫;Web视频资源的智能发现关键技术研究[D];哈尔滨工业大学;2010年

10 詹恒飞;分布式图片搜索引擎设计与实现[D];国防科学技术大学;2010年

【二级参考文献】

中国期刊全文数据库 前10条

1 赵洋;滕桂法;张玉新;何冬梅;;基于Internet的农业信息垂直搜索引擎的设计[J];河北农业大学学报;2009年06期

2 刘挺;马金山;;汉语自动句法分析的理论与方法[J];当代语言学;2009年02期

3 尹国定,卫红;云计算——实现概念计算的方法[J];东南大学学报(自然科学版);2003年04期

4 蒋明原;孔令德;宁静静;;一种海量数据下的Lucene全文检索解决方案[J];电脑开发与应用;2011年04期

5 曹宇;尹刚;李翔;程荣斌;王怀民;;聚类搜索引擎研究进展浅析[J];电脑知识与技术;2011年22期

6 吴吉义;平玲娣;潘雪增;李卓;;云计算:从概念到平台[J];电信科学;2009年12期

7 钟伟彬;周梁月;潘军彪;文锦军;;云计算终端的现状和发展趋势[J];电信科学;2010年03期

8 傅巍玮;李仁发;刘钰峰;黄松立;;基于Solr的分布式实时搜索模型研究与实现[J];电信科学;2011年11期

9 叶允明,于水,马范援,宋晖,张岭;分布式Web Crawler的研究:结构、算法和策略[J];电子学报;2002年S1期

10 宁焕生;张瑜;刘芳丽;刘文明;渠慎丰;;中国物联网信息服务系统研究[J];电子学报;2006年S1期

中国博士学位论文全文数据库 前1条

1 应晓敏;面向Internet个性化服务的用户建模技术研究[D];中国人民解放军国防科学技术大学;2003年

中国硕士学位论文全文数据库 前6条

1 杜超华;基于本体的省情网垂直搜索引擎研究[D];华中师范大学;2007年

2 万至臻;基于MapReduce模型的并行计算平台的设计与实现[D];浙江大学;2008年

3 王涛;基于行业的个性化搜索引擎的应用[D];北方工业大学;2008年

4 刘胤;深度包检测技术的研究与设计[D];贵州大学;2008年

5 黄晓云;基于HDFS的云存储服务系统研究[D];大连海事大学;2010年

6 张洁坤;时空高效的正则表达式匹配算法研究[D];湖南大学;2010年

【相似文献】

中国期刊全文数据库 前10条

1 顾鹏尧;;让搜索引擎更好地服务于教育教学[J];科学24小时;2003年Z1期

2 陈新颜;垂直搜索引擎辨析[J];现代情报;2004年09期

3 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年32期

4 胡洁;丁宁;关静;曹福年;张磊;;基于“PUBMED+PDF”的医学垂直搜索引擎的实践[J];信息系统工程;2009年05期

5 一林;;垂直搜索:前进路上的喜与忧[J];互联网天地;2010年02期

6 牟思;;基于垂直搜索引擎的学校网站的研究与建设[J];中国教育技术装备;2011年21期

7 田野;垂直搜索火热为哪般[J];中国计算机用户;2005年37期

8 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年31期

9 边凯;;你会搜索吗?[J];中国计算机用户;2007年23期

10 宿建光;;指点通:移动垂直搜索的创新者[J];通信世界;2007年03期

中国重要会议论文全文数据库 前3条

1 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 王旭;杜军平;;质检总局互联网舆情监控系统中聚焦爬虫的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

中国重要报纸全文数据库 前10条

1 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;[N];计算机世界;2010年

2 王艳;[N];中国旅游报;2000年

3 赛迪网 方刚;[N];中国计算机报;2000年

4 王靖;[N];人民日报海外版;2000年

5 记者 王浒;[N];中国旅游报;2009年

6 本报记者 王宏;[N];中国计算机报;2001年

7 徐瑾　张玉;[N];人民邮电;2009年

8 本报记者 王晓雁;[N];法制日报;2009年

9 记者 吴德群;[N];深圳特区报;2009年

10 本报记者 胡钰;[N];华夏时报;2009年

中国博士学位论文全文数据库 前5条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

4 汲业;面向图像的垂直搜索引擎关键技术研究[D];大连海事大学;2013年

5 李传席;基于本体的自适应Web信息抽取方法研究[D];中国科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 李春燕;企业信息垂直搜索引擎的研究与实现[D];中国地质大学（北京）;2010年

2 齐鹏;垂直搜索引擎分类索引系统的设计与实现[D];大连海事大学;2010年

3 张楠;面向汽车主题的垂直搜索引擎研究与实现[D];西南交通大学;2010年

4 陈向东;宠物用品垂直搜索引擎研究与设计[D];西北农林科技大学;2010年

5 周佳庆;实时垂直搜索引擎数据抓取调度研究[D];浙江大学;2010年

6 华大年;手机产品信息垂直搜索引擎系统设计与开发[D];武汉理工大学;2011年

7 薛萍;基于教育领域的垂直搜索引擎的研究与实现[D];天津师范大学;2011年

8 冯效栋;垂直搜索引擎技术在网络舆情巡控中的研究与应用[D];中国海洋大学;2010年

9 张赢;个性化多媒体资源垂直搜索引擎技术研究[D];华东交通大学;2009年

10 李海升;垂直搜索引擎的研究与实现[D];西安电子科技大学;2009年

  本文关键词：面向数码商品垂直搜索引擎原型系统的设计与实现，由笔耕文化传播整理发布。

本文编号：60767