推荐算法自动选择框架的研究与实现

发布时间：2023-02-11 13:38

　　互联网的爆炸性发展在带给人们便利的同时也带来了严重的数据过载问题,为了解决这个问题,人们先后开发出了分类目录和搜索引擎两种解决方案,但都存在缺陷。随着时代发展,推荐系统开始成为一种常见的解决方案而登上历史舞台。然而当前的推荐系统往往是面向某个业务实现的针对性推荐软件,当业务需求或者环境发生改变时,推荐系统很容易出现各种问题,灵活性很差。此外当前市面上很多推荐系统都存在一些显而易见的过期推荐行为,即用户经常发现刚买过且当前不再需要的物品也会被系统反复地推荐。针对上述问题,本文提出一个可控算法且可跨平台运行的通用推荐系统框架,该框架能够运行多个经过优化的推荐算法,并对各个算法的输出结果进行整合去重,从而实现更加精准的个性化推荐。本文的主要研究工作如下:(1)为了实现框架能应对不同推荐业务的效果,本文通过GroupLines实验室获取了和电影推荐相关的MovieLens数据集,又通过爬虫拿到了Wargaming公司的用户数据集,并对两个数据集进行整理与转换,使之成为算法可以处理的格式,并且采取自适应噪音消除策略计算数据集的清洗阀值。(2)使用协同过滤算法来获取目标用户的推荐列表,并使用热门推...

【文章页数】：58 页

【学位级别】：硕士

【文章目录】：
中文摘要
Abstract
第1章 引言
    1.1 选题的理论意义
    1.2 推荐系统的国内外发展情况
        1.2.1 国外发展情况
        1.2.2 国内发展情况
    1.3 课题内容及本文所做的工作
        1.3.1 课题研究内容
        1.3.2 论文内容及组织安排
第2章 需求分析
    2.1 框架定义
    2.2 功能需求
    2.3 数据需求
第3章 使用技术介绍
    3.1 推荐技术
        3.1.1 基于用户的协同过滤推荐技术
        3.1.2 基于物品的协同过滤推荐技术
    3.2 网络爬虫技术
    3.3 Hadoop框架
        3.3.1 Hadoop简介
        3.3.2 Hadoop的特点
    3.4 Python语言
    3.5 HBase数据库
    3.6 开发与测试环境
第4章 推荐框架的设计与实现
    4.1 系统的整体设计
        4.1.1 框架运行流程简介
        4.1.2 框架功能设计
    4.2 数据集
        4.2.1 数据集获取
        4.2.2 数据处理
        4.2.3 数据格式
    4.3 推荐算法的实现
        4.3.1 噪音消除
        4.3.2 基于用户的推荐
        4.3.3 基于物品的推荐
        4.3.4 综合推荐
    4.4 推荐算法优化
        4.4.1 计算优化
        4.4.2 重复计算优化
        4.4.3 数据格式优化
        4.4.4 冷启动优化
        4.4.5 个性优化
    4.5 推荐去重
        4.5.1 现有的周期性去重方案分析
        4.5.2 算法改进思路
        4.5.3 自动计算推荐窗口期的去重算法
    4.6 推荐效果评价指标
    4.7 综合展示
    4.8 本章小结
第5章 总结与展望
    5.1 全文总结
    5.2 后续工作展望
参考文献
致谢
个人简历及在学期间的研究成果和发表的学术论文



本文编号：3740484