面向电子商务的垂直搜索引擎的研究和实现

发布时间：2017-09-16 23:17

  本文关键词：面向电子商务的垂直搜索引擎的研究和实现

  更多相关文章： 电子商务 垂直搜索引擎 网络蜘蛛 中文分词 Heritrix Lucene

【摘要】：伴随着电子商务的发展,电子商务网络系统的通用搜索引擎已经无法满足对今天搜索的要求,电子商务网络对搜索引擎要求更高了。需要针对用户需求的商品供应信息,同时要针对现有搜索引擎检索的过于宽广以及不能针对特定用户需求等问题,面向电子商务的垂直搜索引擎逐渐发展并应用。电子商务在互联网领域扮演着举足轻重的角色,越来越多的用户和企业投身在电子商务当中。以此,通用的搜索引擎并无法对当今电子商务提供相对较好的信息查询搜索服务。面向电子商务的垂直搜索引擎正在逐步取得用户的喜爱,大大增加了用户进行购物的需求。尽管垂直搜索引擎已经进入各行各业当中,但是面向电子商务的搜索引擎仍然存在着不足。在此,本文对面向电子商务的垂直搜索引擎展开了深入研究和分析。本文主要围绕面向电子商务的垂直搜索引擎的设计和实现技术展开研究工作。本文研究了通用搜索引擎与垂直搜索引擎的设计架构、工作原理并进行比较其异同,介绍学习了相关关键技术,包括了开源网络蜘蛛、中文分词、主题相关度、排序算法及Lucene等知识,并重点研究了垂直搜索引擎的个性化推荐算法。在此基础上,围绕垂直搜索引擎的需求,提出了利用矩阵填充的算法进行个性化推荐的方法,利用天猫数据对算法进行了比较分析,研究其可行性。解决电子商务搜索引擎无法准确推荐的问题。在此基础上,围绕电子商务搜索引擎的系统结构,设计实现了基于Heritrix+Lucene的面向电子商务的垂直搜索引擎的系统。对面向电子商务的垂直搜索引擎的发展具有十分现实的作用。
【关键词】：电子商务 垂直搜索引擎 网络蜘蛛 中文分词 Heritrix Lucene
【学位授予单位】：云南师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3
【目录】：

• 摘要3-4
• Abstract4-9
• 第1章 绪论9-15
• 1.1 研究的背景与意义9-11
• 1.2 搜索引擎的分类11-12
• 1.3 国内外发展现状12-14
• 1.4 本章小结14-15
• 第2章 搜索引擎的工作原理15-22
• 2.1 通用搜索引擎15-17
• 2.1.1 通用搜索引擎的概念15
• 2.1.2 通用搜索引擎的工作原理15-16
• 2.1.3 通用搜索引擎的局限性16-17
• 2.2 垂直搜索引擎17-18
• 2.2.1 垂直搜索引擎概念17-18
• 2.2.2 垂直搜索引擎的特点18
• 2.3 垂直搜索引擎与通用搜索引擎的比较18-21
• 2.4 本章小结21-22
• 第3章 垂直搜索引擎关键技术的研究22-42
• 3.1 垂直网络蜘蛛技术22-26
• 3.1.1 网络蜘蛛的基本原理22-23
• 3.1.2 网络蜘蛛的抓取策略23-25
• 3.1.3 Robots协议25-26
• 3.1.4 开源的网络蜘蛛26
• 3.2 中文分词26-28
• 3.3 主题相关度分析28-30
• 3.3.1 布尔模型28-29
• 3.3.2 向量模型29-30
• 3.3.3 概率模型30
• 3.4 网页排名30-35
• 3.4.1 词频统计法31
• 3.4.2 基于链接的分析法31-35
• 3.4.3 改进的链接分析法35
• 3.5 检索与索引技术35-41
• 3.5.1 Lucene概述36
• 3.5.2 Lucene的系统结构36-37
• 3.5.3 Lucene的索引机制37-38
• 3.5.4 Lucene的倒排索引38-40
• 3.5.5 Lucene的检索机制40
• 3.5.6 Lucene的优点40-41
• 3.6 本章小结41-42
• 第4章 电子商务垂直搜索引擎的个性化推荐42-55
• 4.1 研究的目的42-43
• 4.2 研究的方案43-46
• 4.3 矩阵填充46-47
• 4.3.1 矩阵填充的概念46-47
• 4.3.2 矩阵填充的应用47
• 4.4 相关算法的研究47-52
• 4.4.1 奇异值阈值（SVT）算法47-49
• 4.4.2 加速近端梯度算法（accelerated proximal gradient，，APG）49-51
• 4.4.3 非精确增广拉格朗日乘子法（IALM）51-52
• 4.5 结果分析52-54
• 4.6 本章小结54-55
• 第5章 面向电子商务的垂直搜索引擎的模块设计与实现55-66
• 5.1 系统环境55
• 5.2 总体框架设计55
• 5.3 网络蜘蛛的结构设计与实现55-60
• 5.3.1 网络蜘蛛总体流程55-57
• 5.3.2 网络蜘蛛的实现57-60
• 5.4 网页预处理60-61
• 5.5 主题索引模块61-63
• 5.6 用户接口及页面设计63-65
• 5.7 本章小结65-66
• 第6章 总结和展望66-68
• 6.1 总结66-67
• 6.2 展望67-68
• 参考文献68-70
• 攻读学位期间发表的学术论文70-71
• 致谢71

【相似文献】

中国期刊全文数据库 前10条

1 杨坚争;李朝平;;垂直搜索引擎及其应用[J];电子商务;2006年10期

2 罗丽姗;;垂直搜索引擎发展概述[J];图书馆学研究;2006年12期

3 严宏伟;何俊;;基于房源分析系统的垂直搜索引擎关键技术的探讨[J];中国科技信息;2007年05期

4 胡华梁;何进;钟元生;;图书垂直搜索引擎的设计[J];计算机与现代化;2007年08期

5 郑凯明;李义杰;;垂直搜索引擎及其应用价值[J];信息技术;2008年04期

6 毕建涛;霍云福;;垂直搜索引擎赢利模式探讨[J];大连大学学报;2008年03期

7 许鑫;黄仲清;;垂直搜索引擎应用中的若干策略探讨——以12580餐饮垂直搜索为例[J];现代图书情报技术;2009年02期

8 孔祥春;李义杰;郑凯明;;垂直搜索引擎应用研究[J];计算机系统应用;2009年07期

9 杨皖苏;闫冬;;垂直搜索引擎发展策略探讨[J];商业时代;2009年23期

10 肖婷;;垂直搜索引擎与旅游行业探讨[J];农业网络信息;2009年11期

中国重要会议论文全文数据库 前4条

1 褚蓓蓓;刘丹;;垂直搜索引擎:搜索引擎发展方向[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

4 毛华扬;刘卫;;会计信息搜索方法研究[A];第十届全国会计信息化年会论文集[C];2011年

中国重要报纸全文数据库 前10条

1 北大纵横管理顾问公司高级顾问戴晓东;“商搜”变法 垂直搜索引擎的春天还远吗？[N];中国经营报;2006年

2 王艳;垂直搜索引擎市场看好[N];中国旅游报;2000年

3 王靖;赛迪网推出垂直搜索引擎[N];人民日报海外版;2000年

4 杨国民;国内生物医药行业 垂直搜索引擎诞生[N];经济日报;2007年

5 本报记者 王晓雁;垂直搜索引擎著作权之争未破题[N];法制日报;2009年

6 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年

7 中新;生意宝推“生意搜”搅局电子商务搜索市场[N];经理日报;2008年

8 源讯 编译;搜索巨头的下一步[N];计算机世界;2006年

9 赛迪网 方刚;不只是网站才垂直[N];中国计算机报;2000年

10 ;沱沱网“亮剑”国际消费电子博览会 专业服务带来B2B差异化变革[N];中国贸易报;2007年

中国博士学位论文全文数据库 前5条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

4 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

5 王桂红;农产品市场价格web信息分析方法研究[D];沈阳农业大学;2013年

中国硕士学位论文全文数据库 前10条

1 韩冰;垂直搜索引擎个性化推荐研究与应用[D];大连理工大学;2009年

2 关小敏;垂直搜索引擎的研究与实现[D];北京邮电大学;2012年

3 吴燕玮;基于行业知识垂直搜索引擎的研究与实现[D];北京邮电大学;2012年

4 黄兴财;大学生职位垂直c\索引擎的设计与实现[D];电子科技大学;2015年

5 陈龙飞;垂直搜索引擎在烟草行业的研究与应用[D];浙江理工大学;2016年

6 林祖新;视频垂直搜索引擎中信息抽取与存储系统的设计与实现[D];北京邮电大学;2013年

7 张亚凤;垂直搜索引擎中关键技术的研究[D];长春工业大学;2016年

8 桂佳;招聘信息垂直搜索引擎系统设计与实现[D];华中科技大学;2014年

9 韩志强;基于Hadoop的分布式藏文新闻网站垂直搜索引擎设计与实现[D];中央民族大学;2016年

10 吴昊;垂直搜索引擎关键技术研究及分布式实现[D];东南大学;2016年

本文编号：865861