云环境下基于个性化模型的探索式搜索技术研究与实现

发布时间：2019-01-01 11:21

【摘要】：随着信息产业特别是互联网、移动互联网产业的快速发展，网络上的信息量呈现几何级的增长，信息匮乏的年代已经远去。从某种程度上说，人们所需要的任何相关信息都可以从互联网上搜索得到。但面对如此浩如烟海且杂乱的信息资源，尤其是应用最为广泛的文本资源，人们迫切需要一种有效的方式从纷繁复杂的海量信息中搜索、选择感兴趣的信息和知识。那么如何支持用户、特别是移动用户有效地搜索、甄别并快速的定位自己感兴趣的内容；如何使用户获取信息的过程呈现出个性化的趋势，让用户参与其中，并尽量减少无关信息的烦扰，提高用户的体验水平；依然是一个特别需要但仍然没有解决好的问题。 本文在对传统搜索引擎技术研究的基础上，针对用户获取信息的个性化程度不够、信息获取过程中用户（特别是移动用户）体验不够好等问题。在云环境下，研究海量信息的分类、聚类与相似语义链网络的生成技术；研究元搜索技术、个性化用户建模技术、支持可视化的探索式搜索技术；结合当前移动平台普遍使用的触屏作为用户与系统交互的界面。实现了一个基于用户个体化特征的、支持用户参与的新型的可视化探索式搜索原型及其示范应用系统。具体的说，本文的研究内容主要包括如下几个方面： （1）系统剖析现有各种搜索引擎的优缺点。开发并实现一个元搜索引擎，实时整合通用搜索引擎（如谷歌、百度等）、新浪微博和腾讯微博开发接口，与基于开源爬虫软件WebCrawler、Solr等为基础开发的搜索引擎一起实现对信息的抓取。 （2）研究正文抽取、网页去重、中文切词等技术与方法，确认文本主题信息；利用改进K-means算法计算文本间的相似性，，对所获取的信息进行分类和聚类，根据相似度计算生成相似语义链网络。通过语义上的去粗取精，把相似的信息源聚集起来，减少信息的规模，构建更加简练可靠的相似语义链网络。为个性化的探索搜索打下基础。 （3）针对现有搜索技术在满足用户（特别是移动用户）个性化要求上的不足，在生成的相似语义链网络的基础上，进一步提出并设计基于个性化的用户模型及算法。基于该模型对生成的相似语义链网络进行进一步的分割和定位，将搜索的结果与用户的个性化信息结合起来，以满足用户个性化搜索的需要。 （4）基于搜索信息的分类与聚类、相似语义链网络、个性化用户建模技术；跟踪和记忆用户在搜索过程中的参与与互动过程，强调搜索过程中的人机交互性；研究并提出了一种新的RF（相关反馈）机制，实现支持探索与发现相结合的探索式搜索技术及其原型系统。 （5）基于Hadoop和HBase搭建一个云平台,通过分布式文件系统支持海量信息的存储，基于Map/Reduce实现相关算法的并行。在该平台之上实现基于个性化模型的探索式搜索系统原型。接着在该原型系统之上，开发“舆情分析系统”和应用于Android手机端的“智慧商圈”系统示范用例，完整展示本研究的相关技术与实现途径的可行性、有效性，以及良好用户体验特性。
[Abstract]:......
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 刘俊熙;搜索引擎关键技术在检索层面上的分析理解[J];图书馆学刊;2005年05期

2 刘俊熙;;搜索引擎对局域网的搜索(“侵入”)及防范策略[J];现代情报;2007年07期

3 ;对未来Google搜索技术的深度分析[J];中国传媒科技;2010年07期

4 ;捍卫商用搜索市场 Autonomy以“智”取胜[J];计算机与网络;2006年06期

5 盛嘉;;找到你的脸——智能图片搜索技术[J];互联网天地;2009年02期

6 张丘;;移动搜索技术及需求探询[J];互联网天地;2007年02期

7 冯磊;;相信群众[J];信息方略;2008年Z1期

8 李子臣;;搜索技术的现状及发展前景[J];情报科学;2006年03期

9 刘俊熙;龙怡;;站内搜索是下一个网络信息资源检索的最佳点——网络、行业和站内搜索的技术分析[J];现代情报;2008年04期

10 李子臣;;搜索技术的现状及发展前景[J];情报科学;2007年07期

相关会议论文 前10条

1 叶伟芳;;基于P2P的搜索技术和方法研究[A];第二届全国信息检索与内容安全学术会议（NCIRCS-2005）论文集[C];2005年

2 王知津;韩正彪;周鹏;;网络信息移动搜索的结构框架与技术机理探讨[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

3 陈杰;;应用智能搜索 实现数据挖掘[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

4 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

5 苏亮;孙斌;;一种基于Lucene的Hash改进中文分词算法的实现[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（上册）[C];2007年

6 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

7 褚蓓蓓;刘丹;;垂直搜索引擎:搜索引擎发展方向[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

8 唐钟;;一种高效网格搜索引擎技术的研究及应用[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年

9 魏美勇;张国良;;视频共享服务应用技术研究[A];信息时代——科技情报研究学术论文集（第三辑）[C];2008年

10 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

相关重要报纸文章 前10条

1 本报记者 陈昌成;陈沛：未来的搜索会更加精确[N];中国企业报;2010年

2 谌力;第三代搜索,Google的心病[N];网络世界;2006年

3 ;搜索引擎服务的新商机[N];21世纪经济报道;2006年

4 本报记者 贾晶晶;谷歌为何屡屡“聚黄”?[N];中国企业报;2009年

5 穆荣平;第三代搜索引擎石破天惊[N];中国质量报;2006年

6 阿清;手机搜索市场暗潮涌动[N];中国证券报;2006年

7 朱杰;聚焦呼叫搜索[N];中国计算机报;2007年

8 周婷;酷讯网与priceline合作[N];中国证券报;2008年

9 ;企业级搜索会窜出第二个Google吗？[N];中国计算机报;2006年

10 冰梅;隐形搜索引擎“词虎”诞生[N];计算机世界;2005年

相关博士学位论文 前10条

1 曹欢欢;基于大规模搜索日志挖掘的上下文感知搜索研究[D];中国科学技术大学;2009年

2 王斌;面向关系数据库的关键字近似搜索技术研究[D];东北大学;2008年

3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

4 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

5 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

6 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

7 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

8 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

9 文坤梅;基于本体知识库推理的语义搜索研究[D];华中科技大学;2007年

10 王一川;基于内容的海量文本探索式查询导引中若干关键技术的研究[D];北京邮电大学;2011年

相关硕士学位论文 前10条

1 唐继禹;云环境下基于个性化模型的探索式搜索技术研究与实现[D];上海交通大学;2013年

2 谭磊;一种个性化移动搜索技术的研究[D];湖南大学;2010年

3 宋超臣;基于推荐网络的服务搜索技术研究[D];哈尔滨工程大学;2010年

4 王新鹏;认知模型的研究和应用[D];兰州理工大学;2007年

5 孙明星;Sphinx站内搜索技术在论坛产品中的应用研究[D];复旦大学;2012年

6 丁士敏;基于Ajax/Lucene的站内搜索技术研究与实现[D];西安电子科技大学;2008年

7 王凡毓;搜索2.0理论及其应用研究[D];武汉理工大学;2008年

8 刘玉燕;远程教育资源智能检索系统的研究与设计[D];东北师范大学;2004年

9 闫兵;国内搜索引擎盈利模式研究[D];华东师范大学;2007年

10 白瑾;基于群体特性的搜索方法研究[D];武汉理工大学;2011年

本文编号：2397485