基于机器翻译模型的搜索推荐系统的设计与实现

发布时间：2020-04-09 14:04

【摘要】：搜索引擎是用户查找有用信息的重要手段,但是用户在使用搜索引擎时往往存在不能准确构造出表达其真实检索意图的搜索词的情况,导致搜索引擎不能提供精准的结果给用户。相关搜索推荐是指围绕用户输入的搜索词向其推荐文本上有一定关联关系的搜索词。移动端的相关搜索推荐是理解手机用户行为,帮助用户构建搜索词进而提高其使用手机进行信息检索效率的一种重要途径。小米手机目前的相关搜索推荐系统将过往用户搜索日志建成索引,通过检索索引得出相关搜索词,这样的做法存在时效性差,覆盖率低,意图泛化效果不理想等问题。用户历史的搜索和点击数据形成的搜索词和对应的点击文档名具有一定相关性,我们可以用神经网络的机器翻译模型去训练提炼出用户历史搜索和点击数据之间的相关性规律。因此,本文提出基于神经网络机器翻译模型来设计和实现相关搜索推荐系统,利用翻译模型将用户输入的新搜索词翻译成具有相关性的搜索词,并将其通过数据索引和检索系统推荐给用户。我们训练了神经网络机器翻译模型并将模型应用到相关搜索推荐系统中。相关搜索推荐系统包含离线数据处理模块和在线检索端模块。离线数据处理模块包含运用Spark Streaming进行每日热搜词抽取,模型翻译热搜词生成相关搜索词,基于Lucene建立索引和更新索引等功能。在线检索模块首先从索引检索出相关搜索词,然后通过Backend子模块建立Response,再通过Rank和Tunner子模块将Response排序和调优,最后将结果展现给用户。这样的设计和实现能够平衡日志数据挖掘的计算成本和索引更新频率的高要求之间的冲突,提升推荐搜索词与原搜索词的相关性,进而提高覆盖率;并且根据热门搜索词去推荐相关搜索词,也提升了推荐的搜索词的时效性;利用模型提炼出的意图泛化能力,针对用户新的搜索词,也能产生一定的意图泛化效果。
【图文】：

ｑｕｅｒｙ相关的ｑｕｅｒｙ。如果用户发现系统推荐的ｑｕｅｒｙ中有其感兴趣的ｑｕｅｒｙ时，逡逑点击该ｑｕｅｒｙ便可以向用户进一步推荐类似的ｑｕｅｒｙ。相关搜索推荐系统用例图逡逑如图３．１所示。逡逑相关搜索推荐系统逡逑户搜索ｑｕｅｒｙ的相逡逑￣：＂＂＂＂＂逡逑ｉ逡逑－逦」逦＜〈扩＿展＞＞逡逑ｉ逡逑用户逦１＾逡逑户搜索ｑｕｅｒｙ的相逡逑图３．１相关搜索推荐系统用例图逡逑系统主要包括以下功能：逡逑＊推荐其搜索内容语义相近的或者有一定关联的比较热门的ｑｕｅｒｙ；逡逑＊如若用户进一步点击系统向其推荐的ｑｕｅｒｙ，则会依据新ｑｕｅｒｙ又向其逡逑１４逡逑

内部的开发人员提供ｑｕｅｒｙ想通过神经机器翻译模块生成一批相关的ｑｕｅｒｙ逡逑时，神经机器翻译服务模块能根据其ｑｕｅｒｙ生成相关ｑｕｅｒｙ。神经机器翻译模块逡逑功能用例图如图３．２所示。逡逑机器翻译模型服务逡逑ｑ逦单条逡逑－＜〈扩１邋展〉〉逡逑ＵＴ逦！逡逑内部开发人员逦＾逡逑荐单条ｑｕｅｇ＾）逡逑图３．２相关搜索翻译模型服务用例图逡逑当内部的开发人员想通过神经机器翻译模型来生成其对应的ｑｕｅｒｙ的相关逡逑ｑｕｅｒｙ时，，模型服务能够根据其提供的ｑｕｅｒｙ做出相关推荐，主要包括以下功能：逡逑＊开发人员提供单条ｑｕｅｒｙ，模型服务直接返回单条ｑｕｅｒｙ对应的相关搜逡逑１５逡逑
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 刘强;;推荐系统的商业价值[J];软件和集成电路;2019年04期

2 王月星;;国内旅游推荐系统研究进展[J];商场现代化;2017年10期

3 常亮;曹玉婷;孙文平;张伟涛;陈君同;;旅游推荐系统研究综述[J];计算机科学;2017年10期

4 王毅;;网络推荐系统的三大挑战——从用户体验出发[J];清华管理评论;2013年06期

5 王海明;;基于大数据下电子商务商品推荐系统的分析[J];环球市场信息导报;2017年27期

6 ;电商推荐系统进阶[J];IT经理世界;2013年11期

7 王霞;;电子商务推荐系统评述[J];福建电脑;2006年08期

8 傅孟如;姜素兰;闵娅萍;;VAX—11/750机学生测评、推荐系统的设计与应用[J];计算技术与自动化;1989年03期

9 张佳威;;美团推荐系统实证系统[J];农家参谋;2018年11期

10 洪文兴;王宁;陈毅伟;周绮凤;李涛;;大数据时代的人才推荐系统[J];大数据;2017年02期

相关会议论文 前10条

1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年

2 高梦晨;;推荐系统用户感知调研[A];工业设计研究（第六辑）[C];2018年

3 李成;胡文丽;;推荐系统体验模型探索——以视频推荐为例[A];工业设计研究（第六辑）[C];2018年

4 李成;冯青青;;推荐系统准确度衡量方案——引入权重概念[A];工业设计研究（第五辑）[C];2017年

5 王晓光;施玉海;尹亚光;;面向广电的节目推荐系统研究[A];中国新闻技术工作者联合会2017年学术年会论文集（学术论文篇）[C];2017年

6 周小田;王宏志;郭翔宇;胡筱;董志鑫;李建中;高宏;;基于知识库的互联网商品信息分类与推荐系统[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

7 汤娟梅;唐岭;;个性化英语阅读文章推荐系统的设计[A];计算机与教育：理论、实践与创新——全国计算机辅助教育学会第十四届学术年会论文集[C];2010年

8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

9 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年

10 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

相关重要报纸文章 前5条

1 记者 周源;知意图发布推荐系统Etu Recommender[N];网络世界;2012年

2 本报记者 邹大斌;大数据：电商新武器[N];计算机世界;2012年

3 本报记者 冯卫东;网络导购：找出你的最爱[N];科技日报;2007年

4 本报记者 邱燕娜;精准推荐 一客一市场[N];中国计算机报;2012年

5 张秋明;用数据是新技能[N];福州日报;2015年

相关博士学位论文 前10条

1 夏彬;基于位置信息社交网络的推荐系统研究[D];南京理工大学;2018年

2 蒋伟;推荐系统若干关键技术研究[D];电子科技大学;2018年

3 练建勋;基于多样化内容数据的个性化推荐系统[D];中国科学技术大学;2018年

4 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

5 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年

6 颜端武;面向知识服务的智能推荐系统研究[D];南京理工大学;2007年

7 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年

8 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年

9 高全力;上下文感知推荐系统关键问题研究[D];西北大学;2017年

10 尹航;信息推荐系统中的协同过滤技术研究[D];东北大学;2012年

相关硕士学位论文 前10条

1 蔡健;基于用户特征的无人超市推荐系统设计与实现[D];浙江工业大学;2019年

2 周强;推荐系统中冷启动问题的研究[D];武汉理工大学;2018年

3 王欢;基于移动终端的人才推荐系统的设计与实现[D];厦门大学;2018年

4 林雨辉;利用深度学习构建基于内容的音乐推荐系统[D];厦门大学;2018年

5 黄洁;沉默螺旋理论及其在推荐系统中的应用[D];厦门大学;2018年

6 孙爽博;多场景推荐系统核心算法研究[D];西南石油大学;2018年

7 韩修龙;基于兴趣流的混合推荐系统研究[D];西南石油大学;2018年

8 谢帮敏;基于机器翻译模型的搜索推荐系统的设计与实现[D];南京大学;2019年

9 宁天昊;基于方面类别的情感分析和推荐系统方法研究[D];南京大学;2019年

10 李涛涛;个性化服务推荐系统的研究及其在互联网医疗中的应用[D];安徽大学;2019年

本文编号：2620847