基于用户反馈的搜索引擎排名算法研究

发布时间：2016-06-27 13:06

  本文关键词：基于用户反馈的搜索引擎选择及结果归并，，由笔耕文化传播整理发布。

《复旦大学》 2010年

基于用户反馈的搜索引擎排名算法研究

金祖旭  

【摘要】： 在过去的几年中,随着互联网的高速发展,搜索引擎的作用与日俱增,越来越多的互联网用户开始选择搜索引擎作为其获得网络资源的首选工具。但是,搜索引擎的表现并不总是尽如人意。很多时候,当用户输入一个查询词,搜索引擎会返回成千上万的搜索结果,而其中只有很少一部分甚至没有网页是符合用户需求的。如何理解用户的搜索意图,找出符合用户需求的网页,并将最相关的网页置于搜索结果的前列,这成为众多学者研究的重要课题。 本文以Web 2.0中用户行为作为研究对象,通过挖掘用户反馈方式,提出用户反馈分值的概念,对用户反馈影响搜索结果排名的具体方法以及相应实现进行研究,并提出了一种基于神经网络的网页排序算法。该算法引入BP神经网络模型,根据用户反馈分值选择样本训练神经网络。将传统搜索结果输入到经过训练的神经网络进行计算,根据计算出的结果所表示的网页相关性强弱判断后进行二次排序。该算法利用了神经网络具有的模式识别能力,有效的将用户反馈和搜索引擎结合起来,使得搜索结果更加符合用户的搜索要求。 本文设计开发了基于用户自定义关键词链接关系的搜索排名系统—“网标搜索”,并利用用户反馈对原系统基于Lucene搜索排名算法基础上的搜索结果进行二次排序。系统在排序过程中对有用户反馈的网页链接利用boost因子调整排名分值,对没有用户反馈的网页链接则使用神经网络的方法进行调整排序。文章结合用户反馈进行实验,对实验前后结果进行比较分析,为将来搜索领域中对用户反馈研究提供借鉴与参考的价值。

【关键词】：
【学位授予单位】：复旦大学
【学位级别】：硕士
【学位授予年份】：2010
【分类号】：TP391.3
【目录】：

摘要4-5

Abstract5-6

第一章 绪论6-12

1.1 引言6

1.2 相关知识6-8

1.2.1 搜索引擎6-7

1.2.2 人工神经网络7-8

1.3 搜索排名国内外研究8-10

1.4 论文研究内容和章节结构10-12

第二章 传统排序算法分类及比较12-21

2.1 基于网页内容的排序12-16

2.1.1 VSM模型介绍12-14

2.1.2 基于内容的排序14-15

2.1.3 基于内容搜索的优缺点15-16

2.2 基于链接结构的排序16-20

2.2.1 PageRank算法分析16-18

2.2.2 HITS算法分析18-20

2.2.3 基于链接结构的优缺点20

2.3 小结20-21

第三章 用户反馈分析21-26

3.1 反馈的概念21-22

3.2 反馈的方式22-24

3.2.1 显式反馈22-23

3.2.2 隐式反馈23-24

3.3 用户反馈分值定义24-25

3.4 反馈对结果的影响25-26

第四章 基于神经网络的网页排序算法26-33

4.1 BP神经网络26-27

4.2 内容信息转化为量化向量27-30

4.2.1 中文分词算法27-28

4.2.2 生成量化向量28-30

4.3 神经网络训练算法30-31

4.4 神经网络计算原理31-32

4.5 对结果进行判断并排序32-33

第五章 "网标搜索"系统33-42

5.1 "网标搜索"介绍33-34

5.2 系统数据设计34-37

5.3 系统架构设计37-40

5.3.1 开发架构37

5.3.2 功能模块37-40

5.4 Lucene排序算法介绍40-42

第六章 算法应用分析42-54

6.1 数据结构设计42-43

6.2 基于Lucene的排名改进43-45

6.3 基于神经网络的排名改进45-53

6.3.1 神经网络构建45

6.3.2 中文分词模块45-46

6.3.3 数值化网页信息46-47

6.3.4 神经网络训练47-50

6.3.5 输出计算及结果比较50-53

6.4 应用中涉及到的其它问题53-54

第七章 总结与展望54-56

7.1 总结54

7.2 展望54-56

参考文献56-58

致谢58-59

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前10条

1 宋益众;搜索引擎及其使用技巧[J];杭州医学高等专科学校学报;2004年05期

2 刘迁;贾惠波;;中文信息处理中自动分词技术的研究与展望[J];计算机工程与应用;2006年03期

3 邵华;高凤荣;邢春晓;蒋丽华;;基于VSM的分层网页推荐算法[J];计算机科学;2006年11期

4 李昕,朱永胜,武港山;Web结构分析算法HITS的改进及应用[J];计算机工程;2005年06期

5 周登朋;谢康林;;Lucene搜索引擎[J];计算机工程;2007年18期

6 杨彬;康慕宁;;基于用户反馈的搜索引擎选择及结果归并[J];计算机工程;2007年24期

7 刘承启;邓庚盛;江婕;徐健锋;;基于用户行为分析的搜索引擎研究[J];计算机与现代化;2008年09期

8 刘奕群;岑荣伟;张敏;茹立云;马少平;;基于用户行为分析的搜索引擎自动性能评价[J];软件学报;2008年11期

9 戚德虎,康继昌;BP神经网络的设计[J];计算机工程与设计;1998年02期

10 宋斌,方小璐;基于网页特征的TFIDF改进算法[J];微计算机应用;2002年01期

中国硕士学位论文全文数据库 前2条

1 陈默;基于神经网络的元搜索引擎[D];浙江大学;2006年

2 孙启明;基于Web日志挖掘的搜索引擎排序算法的改进[D];哈尔滨工程大学;2007年

【共引文献】

中国期刊全文数据库 前10条

1 刘劲松;张彬;柴文磊;魏建行;刘振鹏;;校园网园区搜索引擎的设计与实现[J];河北大学学报(自然科学版);2011年04期

2 曾志军;孙国强;;基于改进的BP网络数字字符识别[J];上海理工大学学报;2008年02期

3 高加旺;孙名松;陈福;;基于相似度曲线的新闻网页分类模型研究[J];信息技术;2008年02期

4 李铭岳;周军;;基于改进HTML-Tree的中文网页特征向量提取方法[J];信息技术;2009年01期

5 王忠建;王悦;;归纳学习与规则结合的分词方法的有效性考察[J];哈尔滨师范大学自然科学学报;2010年01期

6 徐永群,陈年友,朱怡权,李鑫;BP神经网络计算法及其应用研究[J];黄冈师范学院学报;2000年03期

7 郭建芳;;从自然语言处理视域新探汉英词类差异[J];中北大学学报(社会科学版);2011年02期

8 邓振杰,周元庆,罗希国;基于多处理机系统在超立方体上并行仿真BP神经网[J];华北航天工业学院学报;2001年04期

9 刘长青;张峰;程丽华;毕学军;张亚雷;赵建夫;;一体化A_mO_n工艺BP神经网络数学模型研究[J];环境工程;2009年05期

10 佟兴帆;邓辉宇;李志明;;上海光源产品管理系统及其全文检索子系统的改进[J];核技术;2011年07期

中国重要会议论文全文数据库 前10条

1 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年

2 沈焕生;朱磊;;基于信息内容的关键词抽取研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（上册）[C];2008年

3 薛征;廖闻剑;;基于位置权重和实体识别的关键词提取[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

4 李媛;康春艳;于亚芳;;交指型缺陷接地结构共面波导的神经网络模型[A];2009年全国微波毫米波会议论文集（上册）[C];2009年

5 徐向东;周国祥;;汽车损失神经网络评价模型的研究与设计[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

6 窦峰;彭为骏;张杰;;基于BP神经网络预测不同工艺条件下的醋纤滤棒压降[A];中国烟草学会工业专业委员会烟草工艺学术研讨会论文集[C];2010年

7 张健沛;李连江;杨静;;个性化搜索引擎排序算法的研究与改进[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 岑荣伟;刘奕群;张敏;茹立云;马少平;;网络搜索引擎用户行为分析和研究[A];第五届全国信息检索学术会议论文集[C];2009年

9 王倩;刘奕群;马少平;茹立云;;面向用户互联网访问日志的异常点击分析[A];第五届全国信息检索学术会议论文集[C];2009年

10 王芳;万常选;;基于互信息的中文完整词自动识别模型[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

中国博士学位论文全文数据库 前10条

1 刘贵;精毛纺织品虚拟加工中的预报与反演模型研究[D];东华大学;2010年

2 张凌云;高密度电阻率勘探反演的非线性方法研究[D];太原理工大学;2011年

3 鲁凤;生态足迹变化的动力机制及生态足迹模型改进研究[D];华东师范大学;2011年

4 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

5 周国雄;多座不对称焦炉集气管压力智能解耦与优化控制策略及应用研究[D];中南大学;2010年

6 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

7 张晶;污水处理过程模拟及系统软件开发[D];大连理工大学;2011年

8 王吉权;BP神经网络的理论及其在农业机械化中的应用研究[D];沈阳农业大学;2011年

9 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

10 杜玉晓;铅锌烧结过程智能集成优化控制技术及其应用研究[D];中南大学;2004年

中国硕士学位论文全文数据库 前10条

1 程宾;基于用户兴趣模型的元搜索引擎的研究[D];山东科技大学;2010年

2 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年

3 刘国峰;数据模板匹配研究及在社保审计中的应用[D];哈尔滨工程大学;2010年

4 李双;双组分混合体系中人工神经网络分析方法的研究[D];中国海洋大学;2010年

5 许锦;基于本体的智能答疑系统研究与实现[D];江西师范大学;2010年

6 吴世勇;基于聚类分析的搜索引擎自动性能评价研究[D];江西师范大学;2010年

7 夏飞;基于火炮运动参数的传感器智能化方法的研究[D];沈阳理工大学;2010年

8 于飞;基于搜索引擎的个性化推荐研究[D];哈尔滨理工大学;2010年

9 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年

10 查国峰;基于反馈型神经网络的公路车辆动态称重系统设计[D];南昌大学;2010年

【二级参考文献】

中国期刊全文数据库 前10条

1 王铮,胡永杰;元搜索引擎的设计与实现[J];河北师范大学学报;2001年02期

2 张强弓,喻国宝,廖湖声,隋树林;一种元搜索引擎的查询结果处理模型[J];华南理工大学学报(自然科学版);2004年S1期

3 张健奕;搜索引擎的新发展——元搜索引擎[J];河南图书馆学刊;2002年02期

4 汪晓岩,胡庆生,李斌,庄镇泉;面向Internet的个性化智能信息检索[J];计算机研究与发展;1999年09期

5 王继成,潘金贵,张福炎;Web文本挖掘技术研究[J];计算机研究与发展;2000年05期

6 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期

7 李凯,赫枫龄,左万利;PageRank-Pro——一种改进的网页排序算法[J];吉林大学学报(理学版);2003年02期

8 涂承胜,鲁明羽,陆玉昌;Web挖掘研究综述[J];计算机工程与应用;2003年10期

9 湛燕,陈昊,袁方,王熙照;基于中文文本分类的分词方法研究[J];计算机工程与应用;2003年23期

10 韩亚洪,许卓明,董逸生;Web信息检索中主题精选算法的研究与改进[J];计算机工程与应用;2004年17期

【相似文献】

中国期刊全文数据库 前10条

1 金祖旭;李敏波;;基于用户反馈的搜索引擎排名算法[J];计算机系统应用;2010年11期

2 董全中;;当代搜索引擎存在的问题及其改进[J];图书馆理论与实践;2007年05期

3 ;世界首款在线联系人搜索引擎问世[J];计算机与网络;2008年11期

4 靳鲁黔,秦颖;独立搜索引擎基本工作原理分析及其简介[J];农业图书情报学刊;2005年05期

5 程彩凤;杜友福;;搜索引擎技术分析[J];科技信息;2007年01期

6 孙雁群;周燕青;;人民银行内联网搜索引擎探讨[J];华南金融电脑;2007年04期

7 冯磊;;相信群众[J];信息方略;2008年Z1期

8 戴建中;GnetFtp搜索引擎的算法设计与实现[J];汕头大学学报(自然科学版);2005年03期

9 王颖;;中文局域网搜索引擎的有关介绍[J];读与写(教育教学刊);2009年02期

10 白岩;董琦;康红;周芮;;网络搜索引擎[J];现代情报;2006年07期

中国重要会议论文全文数据库 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

3 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

4 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

5 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

6 褚蓓蓓;刘丹;;垂直搜索引擎:搜索引擎发展方向[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

中国重要报纸全文数据库 前10条

1 元元;[N];证券日报;2006年

2 郭京霞;[N];中国企业报;2007年

3 焦艳玲;[N];市场报;2007年

4 ;[N];计算机世界;2008年

5 李一鑫;[N];财经时报;2007年

6 周文林;[N];经济参考报;2007年

7 惠正一;[N];第一财经日报;2005年

8 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;[N];中国计算机报;2005年

9 陈珊;[N];人民邮电;2005年

10 赵法忠;[N];中国经营报;2005年

中国博士学位论文全文数据库 前10条

1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

2 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

5 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

6 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

7 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年

10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

中国硕士学位论文全文数据库 前10条

1 金祖旭;基于用户反馈的搜索引擎排名算法研究[D];复旦大学;2010年

2 刘青伟;搜索引擎中的Pagerank排序算法研究分析[D];电子科技大学;2010年

3 宗宝琴;基于自然语言理解的智能检索接口技术的研究及其应用[D];河北科技大学;2011年

4 党春辉;网页消重和聚类算法在高校搜索引擎中的研究与应用[D];东华大学;2010年

5 王珍;维、哈、柯文搜索引擎中的自动分类技术研究[D];新疆大学;2010年

6 杨宇;搜索词的意图分析与应用[D];北京邮电大学;2010年

7 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年

8 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年

9 李珏伶;搜索引擎网页相关性评估方法设计及其在rank模型上的应用[D];北京交通大学;2011年

10 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年

  本文关键词：基于用户反馈的搜索引擎选择及结果归并，由笔耕文化传播整理发布。

本文编号：62296