在线文档推荐算法的研究与改进

发布时间：2017-11-29 01:26

  本文关键词：在线文档推荐算法的研究与改进

  更多相关文章： 信息过载 数据清洗 协同过滤 推荐系统

【摘要】：随着我国网民规模接近7亿,互网联页面数突破2000亿,信息爆炸般增长,从中获取有效信息也变得愈加困难。因此也有了许多个性化解决方案来对互联网信息进行筛选提供给人们符合所需的信息。搜索引擎和推荐系统便是两种获取信息的有效手段,前者是用户主动查询搜索所需内容,但常受限于查询格式或者内容完整性,并不容易找到所需内容,尤其是难以查询视频音频等,且智能程度较低。而另一种方式,推荐系统便可以发挥优势,通过分析海量数据信息,分析历史行为信息和用户之间的关系等,对用户进行推荐,免去用户搜索的麻烦。数据是推荐系统的基础。从数据中进行分析才能得到有价值的信息,寻找到其中隐藏的关系。但数据需要保证质量,由此引出数据的清洗环节。数据清洗指将原有数据如日志文件等按规则进行预处理,使数据达到完整性一致性准确性等要求。数据清洗保障了推荐算法的准确性。推荐算法是推荐系统的核心。传统推荐算法在推荐系统中依旧发挥着砥柱的作用,但是对于特定数据特定系统,其效果并不总是理想。针对特定数据进行分析,在原算法基础上进行创新,通过实验数据分析,优化改进,往往能获得更好的效果。综上所述,本文针对华为在线文档推荐系统的工作主要如下:1.首先采集数据,并对数据进行分析。然后制定数据清洗规则,按照清洗流程兑出去进行了预处理。每天新数据到来时定时启动清洗程序,实现清洗自动化。2.分析已有的推荐算法并做出改进。本文采用了协同过滤算法并在此基础上改进算法,针对实验结果进行分析,用转移概率矩阵对原相似度矩阵进行替代,并分析历史浏览信息中的文档类别间的跳转关系,在推荐过程中根据文档类别间跳转比例产生推荐列表。最后结合热点推荐,弥补冷启动的缺点。改进后的算法的各项评价指标提升明显。3.将数据处理和推荐系统进行整合,实现华为在线文档推荐系统,并以网站形式进行展示。网站采用Struts2+Mysql+redis形式,框架为Struts2,其优点为层次清晰,维护效率高。数据库采用了关系型数据库Mysql和内存数据库redis,充分利用前者简洁高效的特点和后者快速查询的优势。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3

【参考文献】

中国期刊全文数据库 前10条

1 王铭军;潘巧明;刘真;陈为;;可视数据清洗综述[J];中国图象图形学报;2015年04期

2 宋金玉;陈爽;郭大鹏;王内蒙;;数据质量及数据清洗方法[J];指挥信息系统与技术;2013年05期

3 高忠科;胡沥丹;金宁德;;Markov transition probability-based network from time series for characterizing experimental two-phase flow[J];Chinese Physics B;2013年05期

4 朱郁筱;吕琳媛;;推荐系统评价指标综述[J];电子科技大学学报;2012年02期

5 杨刚;顾宏斌;赵芷晴;;对基于J2EE的MVC模式视图部分改进[J];计算机技术与发展;2012年03期

6 邹燕飞;罗鸿伟;;基于Struts+Spring+Hibernate缺陷管理系统实现[J];计算机技术与发展;2012年02期

7 李世川;;Java连接MySQL解决方案[J];网络与信息;2011年06期

8 悠虎;;如何向MySQL数据库的表中录入数据[J];网络与信息;2010年06期

9 刘建国;周涛;郭强;汪秉宏;;个性化推荐系统评价方法综述[J];复杂系统与复杂性科学;2009年03期

10 武宝珠;梁声灼;牛德雄;;基于Struts2+Spring+Hibernate架构构建Web应用系统[J];计算机与现代化;2009年08期

中国博士学位论文全文数据库 前3条

1 刘青文;基于协同过滤的推荐算法研究[D];中国科学技术大学;2013年

2 冷亚军;协同过滤技术及其在推荐系统中的应用研究[D];合肥工业大学;2013年

3 任磊;推荐系统关键技术研究[D];华东师范大学;2012年

中国硕士学位论文全文数据库 前1条

1 杨畅;基于项目分类和用户情景推荐的研究及应用[D];重庆大学;2012年

，

本文编号：1235719