具有反爬虫机制的影评系统的设计与实现

发布时间：2020-05-26 20:28

【摘要】：随着电影业的不断发展,越来越多的电影涌现在人们的面前,人们想甄选出较好的电影,通常是以电影的综合评价作为首要标准,此时全面、客观的评价就显得尤为重要了。最早的电影评价是在传统的纸媒上进行的,通常都是由专业影评人发表影评文章,但这种评价方式手段太单一,而且不能够从多维度对电影进行评价,容易对观影人产生误导作用,所以全民参与影评的需求就显得尤为突出。随着互联网的高速发展,人们可以在网络上对所有的电影进行评价,这种方式的评价维度比较全面,时效性也非常高,评价方式也非常开放,而且使用网络评价的方式也可以允许所有人发表影评,而不局限于之前极少量专业人士的影评。大家通过参考这些影评可以选择自己喜欢的电影,减少筛选电影的成本,能够快速、高效、便捷地选择出自己想看的电影。本文首先阐述了项目的背景以及国内外现状,对整个系统进行功能性和非功能性需求分析。根据需求分析设计系统架构、划分系统功能模块、设计系统数据库,并对系统进行详细设计与实现。作者独立完成了社区、榜单、会员中心、反爬虫功能模块的设计与实现,并参与了其它模块的部分工作。其中反爬虫模块是对已存在的反爬虫技术进行了改进,提高了反爬的精度和速度,进一步保证了系统的安全。反爬模块主要是通过收集系统的请求数据,拆解请求数据为特征,模型评估后选择极端梯度提升算法进行特征转化,使用逻辑回归算法完成爬虫判断,并且根据数据的累积及爬虫技术的升级而不断优化反爬虫模型。本系统采用Zookeeper框架、Thrift框架实现微服务管理,这样能保证系统功能模块独立,降低各模块之间的耦合度,并且能保证系统高可用。同时通过Spark计算定期更新热度榜、口碑榜和人物榜,使用户可以更便捷的看到近期最热门或评价最好的电影,节省用户挑选电影的时间。数据存储使用Mysql数据库、Hive文件系统,缓存使用Redis集群。目前,本文所提及的系统已经开发完毕,并成功上线。影评系统运行状况稳定,满足用户的需求和公司的期望。
【图文】：

用例图,社区功能,用例图,电影

评论电影：用户可对观看过的电影进行评论，表达自己的观点。逡逑搜索电影：用户可以搜索电影，系统展示相关的电影评论或者话题。逡逑点赞评论：浏览影评的用户若觉得影评非常精彩，很赞同作者的观点，，逡逑击页面中的赞按钮，这个功能可以免去用户用文字的形式发表评论，采逡逑击评论中的点赞按钮来表达用户对此评论的看法，系统将点赞数统计并逡逑。点赞的功能与评论相似，但相对于评论来说操作更方便。逡逑分享评论或话题：用户可以对精彩或感兴趣的影评、话题进行分享，可逡逑微博、ＱＱ空间、微信朋友圈等平台。逡逑收藏话题：用户可以在话题页对话题进行收藏，方便随时查阅，该话题逡逑，可以在“会员中心”中查看。逡逑发布话题：用户可发布一个话题帖子，发布时需选择话题所属的标签，逡逑上传图片作为补充说明。逡逑举报：对发表的侮辱性或包含敏感词汇的话题或者回复实行全民举报，逡逑个用户看到，都可以进行举报。逡逑

用例图,单功能,用例图,热度

．２．２逦榜单功能需求分析逡逑图３－３是榜单功能用例图，有些用户想要获知最热门、口碑最好的电影或者最逡逑讨论比较多的人物信息，本系统的热度榜、口碑榜、人物榜可以满足用户需求，逡逑且这些榜单会定时更新，以确保数据的时效性，为用户提供权威榜单，帮助用逡逑户更快捷的选择出想看的优质电影。用户可进行以下操作：逡逑（１）查看排名变化：用户可在热度榜、口碑榜页面查看电影的昨天与今天的逡逑名变化、历史最高排名等信息。逡逑（２）查看参与人数：在口碑榜和人物榜页面查看每个电影或人物参的与的用逡逑数、分数。逡逑（３）查看详情：用户在热度榜和口碑榜页面点击某一个电影后，可以进入到逡逑影的详情页面，包括导演、演员、评论、分数、图片、预告片等信息；在人物逡逑页面点击某一人物时，可以看到该人物的个人档案、作品、荣誉成就、图片、逡逑频、评论、打分等信息。逡逑（４）分享榜单：用户可对热度榜、口碑榜、人物榜进行分享操作。逡逑
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.52;J943

【参考文献】