长尾信息的个性化推荐中的特征选择优化算法

发布时间：2017-04-11 17:06

  本文关键词：长尾信息的个性化推荐中的特征选择优化算法，由笔耕文化传播整理发布。

【摘要】：随着电子商务的快速发展,购物网站产生了海量的商品信息,这使得用户难于从中发现目标商品(特别是长尾目标商品)。个性化推荐系统是当前解决这一问题的有效方式,研究改善推荐系统的性能具有巨大的经济价值。特征是从数据中提取的表征用户个性和偏好的量,如何选择高质量的特征对改善推荐系统的性能有着十分重要的意义。当前推荐系统领域的研究多集中在算法和模型,对特征选择优化的研究关注较少。本文对单模型推荐系统和分类器融合策略进行了研究,在此基础上提出了一种优化特征选择的融合算法,和一种可行的分类器融合方案。论文主要进行了以下三方面的工作：(1)对矩阵分解模型中的FunkSVD算法、逻辑回归算法(Logistic Regression,LR)和梯度迭代回归算法(Gradient Boosting Regression Tree,GBRT)的原理和实现进行了研究。分析了三种算法的模型复杂度、训练效率、应用场景和优势与不足,论述了LR算法对特征的筛选原理,以及GBRT算法的强分类能力,并对LR算法和GBRT算法的融合潜力进行了论证。(2)提出了一种基于逻辑回归和GBRT模型的融合算法。算法引入了分维度的特征筛选,用LR算法将特征区分为偏向于正样本和偏向于负样本两个维度；构建不同参数的LR算法,将特征筛选划分为不同的粒度；将GBRT算法训练特征的随机抽取优化为等比例从两个特征维度随机抽取；为GBRT算法的训练特征加入顺序规则,优化训练效率。(3)给出了一种分类器融合方案,选用基于逻辑回归和GBRT模型的融合算法以及FunkSVD算法进行分类结果融合重排序。算法的结果融合前用z-score归一化。(4)采用movielens数据集和天猫商城开放数据集作为实验数据集,F1指标作为推荐性能评测指标,以逻辑回归单模型和GBRT单模型做为对比对象,对算法进行了实验验证。实验证明使用本文算法和方案能够改善推荐系统性能,特别是基于逻辑回归和GBRT模型的融合算法的F1指标最大约有1.5%的提高。
【关键词】：个性化推荐系统 逻辑回归 GBRT算法 分类器融合
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-16
• 1.1 研究背景12-13
• 1.2 研究现状13-14
• 1.3 本文主要研究工作14-15
• 1.4 本文的结构15-16
• 2 个性化推荐系统技术16-26
• 2.1 个性化推荐系统架构16-17
• 2.2 推荐系统分类17-21
• 2.2.1 基于内容的推荐18-19
• 2.2.2 协同过滤推荐19-20
• 2.2.3 隐语义模型20-21
• 2.3 模型融合推荐系统21-22
• 2.4 推荐系统性能评价指标22-24
• 2.4.1 预测准确度指标22-23
• 2.4.2 分类准确度指标23-24
• 2.5 总结24-26
• 3 模型融合基础算法26-39
• 3.1 FunkSVD算法26-27
• 3.1.1 FunkSVD算法原理26-27
• 3.1.2 加入偏移量的改进FunkSVD算法27
• 3.2 逻辑回归算法27-30
• 3.2.1 逻辑回归算法原理28-29
• 3.2.2 经验风险函数的设计29-30
• 3.3 GBRT算法30-33
• 3.3.1 回归决策树算法30-31
• 3.3.2 Gradient Boosting31-33
• 3.3.3 GBRT算法实现33
• 3.4 特征工程33-38
• 3.4.1 特征选择34
• 3.4.2 特征筛选方法34-35
• 3.4.3 特征值的正则化35
• 3.4.4 特征值的归一化35-36
• 3.4.5 特征值的离散化36-37
• 3.4.6 LR算法模型和GBRT算法模型对特征的处理37-38
• 3.5 总结38-39
• 4 基于逻辑回归和GBRT模型的融合算法39-50
• 4.1 算法融合基础39-40
• 4.2 融合算法对特征选择的优化40-43
• 4.3 一种融合FUNKSVD算法结果的推荐性能改善方法43-44
• 4.4 movielens数据集特征选择44-49
• 4.4.1 movielens数据集介绍44-46
• 4.4.2 movielens数据集特征预选择46-48
• 4.4.3 特征值的Dummy Coding赋值48-49
• 4.5 总结49-50
• 5 实验结果和分析50-62
• 5.1 实验环境50
• 5.2 基于逻辑回归和GBRT模型的融合算法实验结果50-59
• 5.2.1 movielens数据集实验过程50-51
• 5.2.2 实验结果分析51-54
• 5.2.3 天猫商城数据集实验过程54-59
• 5.3 融合FunkSVD算法结果的推荐系统性能实验59-62
• 5.3.1 movielens数据集实验过程59-60
• 5.3.2 天猫商城数据集实验过程60-62
• 6 结论62-64
• 6.1 工作总结62-63
• 6.2 研究展望63-64
• 参考文献64-67
• 作者简历及攻读硕士学位期间取得的研究成果67-69
• 学位论文数据集69

【相似文献】

中国期刊全文数据库 前10条

1 米可菲;张勇;邢春晓;蔚欣;;面向大数据的开源推荐系统分析[J];计算机与数字工程;2013年10期

2 脱建勇;王嵩;李秀;刘文煌;;精品课共享中的推荐系统框架与实现[J];计算机工程与设计;2006年17期

3 苏冠贤;张丽霞;林丕源;刘吉平;;生物信息学推荐系统的设计与实现[J];计算机应用研究;2007年05期

4 王改芬;;推荐系统研究综述[J];软件导刊;2007年23期

5 叶群来;;营销与网络推荐系统[J];电子商务;2007年10期

6 李媚;;个性化网络学习资源推荐系统研究[J];福建电脑;2008年12期

7 潘冉;姜丽红;;基于经济学模型的推荐系统的研究[J];计算机应用与软件;2008年03期

8 刘鲁;任晓丽;;推荐系统研究进展及展望[J];信息系统学报;2008年01期

9 刘小燕;陈艳丽;贾宗璞;沈记全;;基于增强学习的旅行计划推荐系统[J];计算机工程;2010年21期

10 曹畋;;智能推荐系统在知识浏览领域的应用[J];硅谷;2011年21期

中国重要会议论文全文数据库 前8条

1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年

2 赵欣;寇纲;邬文帅;卢艳群;;基于时间密集性的推荐系统攻击检测[A];第六届（2011）中国管理学年会论文摘要集[C];2011年

3 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年

4 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

5 潘宇;林鸿飞;杨志豪;;基于用户聚类的电子商务推荐系统[A];第三届学生计算语言学研讨会论文集[C];2006年

6 尤忠彬;陈越;张英;朱扬勇;;基于Web服务的技术转移平台推荐系统研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

7 王国霞;刘贺平;李擎;;二部图影射及其在推荐系统中的应用[A];第25届中国控制与决策会议论文集[C];2013年

8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

中国重要报纸全文数据库 前2条

1 ;大数据如何“落地”[N];中国新闻出版报;2014年

2 本报记者 邹大斌;大数据：电商新武器[N];计算机世界;2012年

中国博士学位论文全文数据库 前10条

1 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年

2 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年

3 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

4 王立才;上下文感知推荐系统若干关键技术研究[D];北京邮电大学;2012年

5 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年

6 李涛;推荐系统中若干关键问题研究[D];南京航空航天大学;2009年

7 刘士琛;面向推荐系统的关键问题研究及应用[D];中国科学技术大学;2014年

8 李方方;非独立同分布推荐系统研究[D];北京理工大学;2014年

9 李晓建;基于语义的个性化资源推荐系统中关键技术研究[D];武汉大学;2010年

10 张尧;B2C环境下用户感知可信的推荐系统理论及其关键方法研究[D];哈尔滨工业大学;2013年

中国硕士学位论文全文数据库 前10条

1 朱孔真;基于云计算的电子商务智能推荐系统研究[D];武汉理工大学;2014年

2 郭敬泽;基于赋权评分和Dpark的分布式推荐系统研究与实现[D];天津理工大学;2015年

3 周俊宇;信息推荐系统的研究与设计[D];江南大学;2015年

4 李炜;基于电子商务平台的保险推荐系统的设计与实现[D];复旦大学;2013年

5 车丰;基于排序主题模型的论文推荐系统[D];大连海事大学;2015年

6 秦大路;基于因式分解机模型的上下文感知推荐系统研究[D];郑州大学;2015年

7 徐霞婷;动态路网监控与导航推荐系统的设计与实现[D];苏州大学;2015年

8 黄学峰;基于Hadoop的电影推荐系统研究与实现[D];南京师范大学;2015年

9 路小瑞;基于Hadoop平台的职位推荐系统的设计与实现[D];上海交通大学;2015年

10 李爱宝;基于组合消费行为分析的团购推荐系统的设计与实现[D];哈尔滨工业大学;2015年

  本文关键词：长尾信息的个性化推荐中的特征选择优化算法，，由笔耕文化传播整理发布。

本文编号：299537