基于Spark广告推送系统的设计与实现

发布时间：2020-06-07 00:12

【摘要】：由于信息科技和互联网技术的发展,广告商将目光从传单、报纸、电视等形式转向了网络、电脑、手机。但是,铺天盖地的广告不仅浪费了用户大量时间,严重干扰到了日常生活,而且无法满足用户的需求,降低用户的体验度。因此,找到用户需求,发现用户之间的差异性,针对不同的用户投放不同的广告才是正确的选择,才能使广告商、用户、系统开发商三者效益最大化。目前,定向广告投放主要是分析用户目前浏览的内容,进行广告匹配,进而投放广告。这样完全忽略了用户的兴趣,投放效率不高,收益不明显。基于以上的问题,本文对基于用户目前浏览的内容算法基础之上继续改进。利用用户数据进行用户兴趣建模,通过兴趣建模与用户当前浏览的页面关键字相结合,进行广告相关性匹配,提高广告投放的准确率。在本文广告投放系统的设计与实现中,如何正确挖掘用户的兴趣爱好,建立用户的兴趣模型是重中之重,决定了广告投放的准确率。因此,在进行兴趣建模时,在提取用户主题建模的基础之上,不仅对用户的历史数据进行主题提取和特征分析,而且利用用户的行为数据和用户的内容数据找到与用户相似的用户集,建立用户历史模型、用户行为兴趣模型和用户内容兴趣模型,将三个模型结合构建用户兴趣模型,这样才能更加反应出用户真实的兴趣爱好。另外,在进行广告和用户兴趣匹配时,考虑到了用户暂时性需要,引入了用户当前页面关键字权重,用户兴趣模型与关键字权重相结合进行广告匹配,进一步增加广告的准确率。最后,由于系统数据较多、计算复杂、计算多样。所以,系统采用基于内存的spark分布式计算框架来进行主题模型、用户兴趣模型等离线数据的训练;对于用户浏览内容的关键字提取等实时数据的计算采用Spark Streaming实时计算框架。相关数据存储采用HDFS、HBASE和Hive等分布式存储系统。针对前端请求利用redis缓存数据库加快数据请求。本文将优化后的用户兴趣建模和广告推荐算法应用到具体的系统中,参照系统总体结构,对本人所做的工作模块将进行详细说明分析。在系统验证方面,本文从广告的投放效果进行分析验证。实验表明,本文对用户兴趣模型的改进和推荐方式的设计更能发现用户的需求,为用户带来新鲜感,增加用户体验度。
【图文】：

处理流程图,文本,处理流程

兴趣需要对用户数据进行精准分析。用户兴趣的关键在于对用户数据进行分析，挖逡逑掘用户的爱好，推送相应的广告。目前，用户数据都是以日志形式存储。所以，本逡逑章将重点对文本挖掘技术和广告投放算法进行重点介绍，进行技术优选。逡逑２．１用户文本处理技术逡逑在广告投放平台中，需要对用户的文本数据进行分析，挖掘出用户的兴趣爱好。逡逑文本处理最重要的是找出能文本的关键字，找出文本主题，，主要包括文本分词、文逡逑本特征提取两部分。本节将从这两方面进行技术分析和甄选。逡逑２．１．１文本分词技术逡逑分词的基本原理是针对文本字符串进行分段切割，过滤掉无关字符，输出分段逡逑好的中文、英文、数字等字符串。基本过程如２－１图所示：逡逑

模型图,概率图,模型,文档

它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关逡逑系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。ＬＤＡ逡逑模型图如图２－２所示：逡逑ＪＪＴ逡逑逦逦逦邋ＪＪＴ逡逑（ＴＶ邋（ｈ）—＜（§））逡逑）Ｋｎ，Ａｉ逡逑“ｎ凡］逡逑ｍ＃郏埽停荩]3?图２－２邋ＬＤＡ概率图模型逡逑Ｆｉｇｕｒｅ邋２－２邋ＬＤＡ邋ｐｒｏｂａｂｉｌｉｔｙ邋ｍａｐ邋ｍｏｄｅｌ逡逑图２－２中，其中尺表示主题个数，ｉＶ表示当前用户文档的总词数，Ｍ表示用逡逑户日志集中日志的数量。图中的出所在的圆圈表示可观测变量，Ｚ，？，？所在的圆圈逡逑７逡逑
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F713.8;TP311.52

【参考文献】