《武汉理工大学》2013年硕士论文

发布时间：2016-05-22 16:23

  本文关键词：比较购物搜索引擎的研究与应用，由笔耕文化传播整理发布。

《武汉理工大学》 2013年

比较购物搜索引擎的研究与应用

黄佳  

【摘要】：在网上购物领域,随着电子商务网站的服务商数量和产品数量的迅速增加,广大消费者面临着更多的困惑：在如此众多的商品中,如何才能找到适合自己需要的网站和物品呢?哪儿的商品更便宜?如何获得性价比最高的商品和服务?这些问题都让用户感到茫然。比较购物是一种采取信息获取技术开发的购物代理软件。这种软件通过收集众多的网上商家信息,对各种商品的价格、性能、配送方式以及服务等进行比较,向用户提供不同在线销售商的商品信息。因此是一个省时省力又省钱的购物途径,得到了大多数电子商务用户的好评。 本文主要研究网页数据的抓取和解析,网页数据的抓取是由网络蜘蛛Spider完成的,而网页数据的解析是指从抓取到的网页中提取出结构化的信息。在网页数据抓取部分,本文对通用搜索引擎中的Spider抓取网页数据的一般传统框架进行了改进,根据专业搜索引擎的特点,提出了一种优化的网页数据抓取框架,即在Spider抓取URL链接时,增加了“URL提取干预”,从而提高了专业搜索引擎抓取网页数据的效率。在网页数据解析部分,本文实现了一个扩展性良好的WEB信息抽取模块。 为了解决网页数据的抓取和数据处理之间的速度矛盾,本文设计了一种生产者-消费者模型,即在数据抓取和数据处理之间建立了网页数据缓存机制,有利于搜索引擎整体性能的提高。 另外,针对目前国内的大多数比较购物网站只为用户提供了商品价格的比较,缺乏对不同购物网站上用户体验和用户评价的比较,信息参考尚为欠缺这一问题,本文在对网页数据进行处理时,抽取了商品的好评率。虽然价格是现阶段决定网络购物用户购买的主要因素,但随着网络购物的发展,除价格以外如商品测评和已购用户的评价等对购买的影响将越来越大。 最后,本文以京东商城和亚马逊上面的手机数据作为数据抓取的实例,设计并实现了一个基于比较购物的搜索引擎系统原型,既能提供商品价格的比较,又能提供用户对商品及服务评价的比较,以便为用户提供更好的购物体验。

【关键词】：
【学位授予单位】：武汉理工大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.3;TP393.09
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前3条

1 刘春辉;;比较购物，Google做不到[J];中国电子商务;2008年05期

2 田真平;;我国比较购物模式发展面临的问题及对策研究[J];商场现代化;2006年29期

3 方志坚;张瑞林;童小素;;搜索引擎综合分析[J];计算机工程与设计;2007年16期

中国硕士学位论文全文数据库 前5条

1 王煜;Internet智能比较购物的研究与实现[D];浙江工商大学;2006年

2 陈意;垂直搜索中自动信息抽取关键技术的研究与实践[D];浙江大学;2008年

3 江娟;垂直搜索引擎数据分析技术的研究与实现[D];华北电力大学（北京）;2008年

4 文斌;新闻垂直搜索引擎的设计[D];华中科技大学;2007年

5 孙轩;主题搜索引擎的关键技术研究与实现[D];武汉理工大学;2010年

【共引文献】

中国期刊全文数据库 前10条

1 季元叶;;服务发现体系架构发展现状及新架构的研究[J];办公自动化;2012年10期

2 刘椿年,宋霞;基于Boosting的半结构化信息抽取[J];北京工业大学学报;2005年02期

3 何章鸿;董守斌;;基于XPath的广告数据提取研究[J];江西师范大学学报(自然科学版);2008年02期

4 陈治昂;张毅;李大学;;基于Web智能的网络广告监测器研究与设计[J];重庆邮电大学学报(自然科学版);2009年01期

5 丛荣华;;网络教育中的数据收集技术[J];长春师范学院学报;2006年10期

6 李春杰;崔红霞;;基于多Agent搜索行为分析的用户兴趣模型[J];吉林大学学报(信息科学版);2010年02期

7 尚冬娟;张敏;;信息过滤系统中的混合式过滤算法[J];重庆工学院学报(自然科学版);2008年01期

8 何友全;徐澄;徐小乐;唐华姣;;一种基于统计学特征和DOM树的网页去噪技术[J];重庆理工大学学报(自然科学版);2011年01期

9 杜友福;程彩凤;赵鸣;;搜索引擎中智能代理技术及启发式搜索策略研究[J];长江大学学报(自然科学版)理工卷;2009年02期

10 刘双印;徐龙琴;沈玉利;;改进小生境遗传算法在元搜索引擎调度优化中的研究[J];重庆师范大学学报(自然科学版);2008年03期

中国重要会议论文全文数据库 前10条

1 陈红兵;;基于XML的电子政务信息集成框架[A];2005年“数字安徽”博士科技论坛论文集[C];2005年

2 李纪华;夏薇;;基于XML的web信息提取方法研究[A];全国高校社科信息资料研究会第六次会员代表大会暨第13次学术研讨会论文集[C];2010年

3 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

4 刘秉权;王喻红;葛冬梅;李佳;;基于结构树解析的网页正文抽取方法[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年

5 周小平;梁一平;邓左祥;;元搜索引擎研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

6 ;A Classification Method for Web Information Extraction[A];Proceedings of the First Conference on Web Information System and Applications[C];2004年

7 张赪军;刘祥瑞;李军;黄红梅;;基于本体的语义检索技术研究[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年

8 张赪军;黄红梅;王晨熙;李军;;构建智能信息检索系统[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年

9 汪建伟;高军;王腾蛟;杨冬青;;一种基于显示属性的网页信息提取方法[A];全国网络与信息安全技术研讨会论文集（上册）[C];2007年

10 叶娜;吴雪军;朱靖波;陈文亮;;基于相似计算的信息抽取模板自动获取方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年

中国博士学位论文全文数据库 前10条

1 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年

2 陈珂锐;基于本体演化的Deep Web数据抽取与注释[D];吉林大学;2011年

3 檀敬东;文本挖掘的若干关键算法研究[D];中国科学技术大学;2010年

4 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年

5 龙华;定义问答检索关键技术研究[D];重庆大学;2010年

6 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

7 刘亚清;开放式环境中的本体演化及其在信息抽取的应用研究[D];大连海事大学;2011年

8 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年

9 俞方桦;互联网信息资源整合研究[D];东华大学;2001年

10 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年

中国硕士学位论文全文数据库 前10条

1 樊敬川;Deep Web数据库的选择研究[D];河北大学;2009年

2 程宾;基于用户兴趣模型的元搜索引擎的研究[D];山东科技大学;2010年

3 孙岭;一种基于前缀表达式的Web信息抽取方法的关键问题的实现[D];山东科技大学;2010年

4 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年

5 雷斌;基于Java技术的智能化搜索引擎的研究与设计[D];哈尔滨工程大学;2010年

6 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年

7 秦宏宇;网络舆情热点发现相关技术研究[D];哈尔滨工程大学;2010年

8 朱莹婷;基于迁移学习理论的Markov检索模型[D];江西师范大学;2010年

9 丛肖为;敏感信息监管系统的设计与实现[D];华东师范大学;2010年

10 毛敏芹;对搜索引擎扩充语义信息功能方法研究[D];华东师范大学;2010年

【二级参考文献】

中国期刊全文数据库 前10条

1 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期

2 丁璇,侯汉清,章成志;中文网页标引源主题表达能力的调查统计[J];大学图书馆学报;2002年06期

3 谢文辉;比较购物之比较[J];中国电子商务;2000年22期

4 夏梦;ChinaEC比较购物之旅[J];中国电子商务;2005年02期

5 苏云;搜索引擎Google检索技巧研究[J];甘肃科技;2005年02期

6 郭志红;基于Web资源的信息抽取技术[J];情报科学;2002年12期

7 邓长寿,赵秉岩;下一代Web搜索引擎探讨[J];情报科学;2005年03期

8 刘畅;;综合搜索引擎与垂直搜索引擎的比较研究[J];情报科学;2007年01期

9 李蕾,王楠,钟义信,郭祥昊,韩鹏,贾自燕,高清霞;基于语义网络的概念检索研究与实现[J];情报学报;2000年05期

10 唐培和,杨新论,刘浩;Google搜索引擎剖析[J];情报杂志;2004年08期

中国博士学位论文全文数据库 前2条

1 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年

2 宗校军;中文网页定题采集及分类研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年

2 李盛韬;基于主题的Web信息采集技术研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 王晓伟;垂直搜索引擎若干关键技术的研究[D];浙江大学;2007年

4 谢冬松;基于Web的主题搜索应用技术研究[D];黑龙江大学;2007年

5 李文泽;个性化垂直搜索引擎研究[D];河南大学;2007年

6 李君梅;基于Web Community识别的聚焦爬虫算法研究与设计[D];浙江大学;2008年

7 杨贞;基于本体的主题爬虫的设计与实现[D];合肥工业大学;2008年

8 赵士青;专业搜索引擎关键技术的研究[D];沈阳工业大学;2007年

9 王攀;主题搜索引擎的设计与实现[D];华中科技大学;2007年

10 刘朋;基于Lucene的垂直搜索引擎关键技术的研究应用[D];武汉理工大学;2009年

【相似文献】

中国期刊全文数据库 前10条

1 ;Smarter.com正式登陆日本和中国市场[J];信息产业报道;2005年12期

2 张继刚;搜索引擎使用技巧[J];网络与信息;1999年09期

3 ;关键词搜索[J];每周电脑报;2000年38期

4 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期

5 许斗;从Google看新一代搜索引擎的发展趋向[J];芜湖职业技术学院学报;2001年01期

6 周毅华;从搜索引擎的分类看其应用技巧[J];图书馆理论与实践;2002年06期

7 邹小筑;搜索引擎的选择与使用技巧[J];图书馆学研究;2002年05期

8 林燕;Google搜索引擎的搜索功能与使用技巧[J];河北科技图苑;2003年05期

9 林中;GOOGLE搜索引擎的关键词检索[J];中国信息导报;2003年03期

10 封剑待封喉;吸星大法“搜”天下 笑傲网络任我行——搜索引擎绝对专题[J];网络与信息;2003年07期

中国重要会议论文全文数据库 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

中国重要报纸全文数据库 前10条

1 ;[N];民营经济报;2006年

2 商报记者　 吴辰光;[N];北京现代商报;2006年

3 李一鑫;[N];财经时报;2007年

4 周文林;[N];经济参考报;2007年

5 惠正一;[N];第一财经日报;2005年

6 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;[N];中国计算机报;2005年

7 陈珊;[N];人民邮电;2005年

8 赵法忠;[N];中国经营报;2005年

9 金朝力;[N];北京商报;2006年

10 本报记者　 赵晓辉 孟昭丽;[N];中国证券报;2006年

中国博士学位论文全文数据库 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 郑文良;基于简单本体的农业P2P搜索引擎关键技术研究[D];沈阳农业大学;2013年

10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

中国硕士学位论文全文数据库 前10条

1 何华;搜索引擎中的数据存储问题研究[D];浙江大学;2005年

2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

7 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

8 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

9 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

10 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年

  本文关键词：比较购物搜索引擎的研究与应用，由笔耕文化传播整理发布。

，

本文编号：48272