基于LDA模型和核方法改进的协同过滤算法

发布时间：2020-11-15 04:57

　　 在互联网高速发展的今天,“信息过载”问题使得人们难以在海量信息中找到真正的需求,成为新时代最重要的挑战之一。现在信息体系下,具有丰富的用户行为历史数据。推荐系统通过对此数据进行分析,从而挖掘用户的潜在兴趣,实现精准化推荐,有效过滤信息,因而具有巨大的应用价值。但是同时,推荐系统也面临着许多问题。本文主要针对数据噪声和稀疏性两个主要问题提出了改进方法。针对数据噪声问题,构造了LOF离群点检测算法。本文分别基于用户的共同项目评分和用户评分数据分布特征指标两种方法计算用户离群因子。最后通过效果对比表明:基于构建指标数据的LOF算法比基于原始共同项目评分LOF算法效果具有更优的表现。针对数据稀疏问题,构造了LDA-CF和Kernel-CF混合模型。(1)LDA-CF模型根据主题生成模型的思想,假设用户喜欢某个项目是因为喜欢某些隐含的主题,利用用户评分数据生成伪文档,计算用户下的潜在主题分布和潜在主题下的项目分布,然后根据用户主题分布相似性和项目主题分布相似性,在此基础上结合邻域方法预测用户偏好。(2)Kernel-CF模型假设用户的评分服从某一稳定的分布,利用核密度估计的方法分别估计每个用户评分分布密度函数,然后在根据用户的评分分布密度函数计算用户的相似度,最后结合邻域方法预测用户偏好。通过在MovieLens数据集上的实验验证,表明了两种混合协同过滤在RMSE性能指标上均有优于基于用户和项目的协同过滤算法。最后,本文介绍了推荐算法在课堂交互平台上的一种新型应用:利用Kernel-CF预测学生的答题得分。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2017
【中图分类】：C81
【部分图文】：

代表用户 v 对物品 i 的评分，， 代表用户 u,v 的平均评分。于物品的协同过滤算法于物品的协同过滤算法(以下简称 ItemCF)的中心思想是通过用户的历史行量项目之间的相似性和关联度，然后将相关联的物品推荐给用户。比如在用户推荐列表中[21]，根据购买《推荐系统实战》的历史记录，推荐了《机战》，《Spark 快速大数据分析》，《利用 Python 进行数据分析》等书籍（图 2. 1），熟悉这领域的人都知道，这都是机器学习，数据挖掘领域内的书籍。因为推荐系统实战》的读者大都购买了推荐出来的其他书籍，因而这些书籍都出来。因为，在机器学习，数据挖掘这一领域研究者，大都需要这些书，能匹配用户需求。

图 3. 1 k 距离、可达距离概念图示：假设对象 o 与 p0 之间的距离为 §¨ ￠ (￡)，那么当，p1 与对象 o 的可达距离为 §¨ ￠ (￡)，当 p2 不在对可达距离为两个对象的实际距离 (¤ ￡)。象 p 的局部可达密度 | ( )p 的 | ( )的[29]定义公式为： | ( ) =| ( )| | distancek ?(p o) ( ) ? ? ?( )表示的是距离数据点 p 最近的 k 个点的集 。从定义公式可以看出，当 | ( )的值较小时，表明布比较稀疏，则对象数据点 p 可能为离群点，反之，则象 p 的局部离群因子 LOF

图 3. 2 LOF 异常分布图测算法检测异常用户算法描述，k 值，阈值 t用户，基于两个用户的共同评分项目计算两个用户对象之公式为：离： §¨ ￠ ( a) = ∑ ( ?( ) ?( ) §¨ ￠ ( a) = ∑ | | ?( ) ?( )
【相似文献】

相关期刊论文 前10条

1 许媛萍;;基于内容的推荐与协同过滤融合的新闻推荐分析与探究[J];新闻研究导刊;2018年13期

2 李改;邹小青;;基于隐式反馈的协同过滤算法研究综述[J];福建电脑;2018年11期

3 胡致杰;胡羽沫;;协同过滤推荐瓶颈问题研究[J];无线互联科技;2016年09期

4 郑婕;鲍海琴;;基于协同过滤推荐技术的个性化网络教学平台研究[J];科技风;2012年06期

5 章宗杰;陈玮;;基于标签扩展的协同过滤算法在音乐推荐中的应用[J];软件导刊;2018年01期

6 王婵;;一种基于加权因子的混合协同过滤算法[J];电脑知识与技术;2018年09期

7 刘文佳;张骏;;改进的协同过滤算法在电影推荐系统中的应用[J];现代商贸工业;2018年17期

8 吴佳婧;贺嘉楠;王越群;董立岩;;基于项目属性分类的协同过滤算法研究[J];吉林大学学报(信息科学版);2018年04期

9 周泽宇;王春玲;;基于协同过滤的个性化选课推荐与评论系统[J];信息记录材料;2018年10期

10 盈艳;曹妍;牟向伟;;基于项目评分预测的混合式协同过滤推荐[J];现代图书情报技术;2015年06期

相关博士学位论文 前10条

1 顾梁;播存结构中基于协同过滤的内容推荐技术研究[D];东南大学;2017年

2 袁卫华;面向稀疏数据的多视图个性化推荐方法研究[D];山东师范大学;2018年

3 孙小华;协同过滤系统的稀疏性与冷启动问题研究[D];浙江大学;2005年

4 薛福亮;电子商务协同过滤推荐质量影响因素及其改进机制研究[D];天津大学;2012年

5 段锐;融合文本内容与情境信息的协同过滤推荐方法研究[D];合肥工业大学;2017年

6 郭艳红;推荐系统的协同过滤算法与应用研究[D];大连理工大学;2008年

7 张雪洁;基于QoS的个性化云服务推荐方法研究[D];南京航空航天大学;2015年

8 姜邵巍;基于竞争关系的推荐技术研究[D];北京邮电大学;2014年

9 王立才;上下文感知推荐系统若干关键技术研究[D];北京邮电大学;2012年

10 钱付兰;基于商空间模型的协同过滤推荐算法研究[D];安徽大学;2016年

相关硕士学位论文 前10条

1 安静思;基于用户影响力和潜在因子的协同过滤推荐方法[D];哈尔滨工程大学;2018年

2 靳恺;协同过滤中数据稀疏性缓解方法研究[D];湖南大学;2016年

3 王佳伟;基于置信度加权的单类协同过滤推荐算法研究[D];辽宁工程技术大学;2018年

4 王晓亮;基于Spark平台的协同过滤推荐算法的研究与实现[D];大连交通大学;2017年

5 朱满洲;基于协同过滤的个性化新闻推荐系统的设计与实现[D];南京理工大学;2019年

6 宋建锋;基于LDA模型和核方法改进的协同过滤算法[D];华中科技大学;2017年

7 吴亚;协同过滤推荐算法在家装领域中的应用研究[D];兰州财经大学;2018年

8 宁勇余;协同过滤推荐算法的设计与实现[D];湖南大学;2015年

9 吕梦晨;基于复杂网络的协同过滤推荐算法的研究[D];东北大学;2016年

10 张云洲;单类协同过滤推荐算法的研究[D];中国科学技术大学;2018年

本文编号：2884368