大数据挖掘在图书阅读推荐中的应用研究
发布时间：2021-09-11 13:18
大数据时代的来临,给整个社会的各个领域都带来了巨大的冲击和挑战,大数据正在影响并改变着我们的生活。在这个信息过载、信息爆炸的时代背景下,如何快速地过滤掉冗余的信息和垃圾资源,准确地找到我们需要的信息资源变得比以前更加困难。所以个性化推荐应运而生,它是一个有效的便捷途径,我们可以从系统给我们推荐的信息中迅速找到自己需要的信息,省去了自己再去搜索的时间。同样的,个性化的图书推荐能够很好地帮助读者从图书馆海量的图书资源中过滤掉大量的自己不感兴趣的图书,快速引导读者准确的获取到自己所需要的高质量的图书资源,节省了读者找书的时间,同时也能提高图书馆藏书的利用率。一般情况下,个性化推荐都由推荐系统产生。在推荐系统中,最关键的就是推荐算法,它决定了推荐效果的好坏。在众多的推荐算法中,应用最为广泛的就是协同过滤算法,它主要包括基于用户的协同过滤算法和基于物品的协同过滤算法。本文将尝试通过对图书借阅数据来挖掘读者评价,并利用协同过滤算法进行个性化图书阅读推荐来探讨将大数据挖掘技术应用到图书阅读推荐中的可行性,主要研究内容为:1、学习和研究大数据的发展和应用的现状以及推荐系统的研究现状,学习了大数据挖掘的...
【文章来源】：宁波大学浙江省
【文章页数】：44 页
【学位级别】：硕士
【部分图文】：
Hadoop项目结构
p 和 Reduce 两个过程，用户借助这两个过程，就可以设计出简单的分布式程序，而大量的复杂的程序代码，只需要编写 Map()和 Reduce()这两个函数即可。其主要步下 5 个步骤：（1）遍历所有输入数据，并将输入数据解析成 key/value 形式的键/值对。（2）这些 key/value 键/值对作为 Map()函数的输入数据，运行结果将会生成另外的key/value 键/值对集合作为输出。（3）MapReduce 编程模型依据 key 值对这些中间数据进行分组，所有相同 key 值 value 值被归类在一起。（4）Reduce()函数以分组后的 key/value 对数据进行 reduce，合并相同 key 值对应的产生新的 key/value 对作为最终输出。（5）将最终的输出结果写入到文件中进行保存。MapReduce 的架构采用了主/从（Master/Slave）架构，具体如图 2.2 所示。它主要个组件组成：Client、JobTracker、TaskTracker 和 Task，其中 Task 分为 Map Task 和 Rk。用户通过 Client 将 MapReduce 任务提交给 JobTracker，同时也可以通过它提供的来查看作业的运行状况。JobTracker 负责资源的监控和任务的调度，并将任务添加等待执行，它会将 map 任务和 reduce 任务分配到 TaskTracker。TaskTracker 会周期将资源和任务的使用、运行情况返回给 JobTracker，与此同时，还会接收 JobTrack来的命令来继续执行下一阶段的任务，处理 map 和 reduce 两个阶段的数据传输。
宁波大学硕士专业学位论文2.1.2 HDFS 简介HDFS 的全称是 Hadoop Distributed File System，是 Hadoop 中的分布式文件系统，它最大的优点就是具有高度的容错性，是 Hadoop 分布式计算的存储基础，可以提供高吞吐量的数据访问，十分适合在大数据存储上的应用。无论是的大规模的集群还是小型的廉价计算机上，HDFS 都可以部署运行，可靠地存储超大规模的数据文件，而且可以被大量的用户访问和读取。HDFS 存储超大文件采用的是流式数据访问模式，即数据在被用户一次写入以后，就可以多次地被读取，从而可以达到最高效率的访问模式。HDFS 上的文件都是以块（block）为单位，块大小默认为 64MB，另外 HDFS 上的文件会被划分为块大小的多个分块（chunk），与其他文件系统略相似[15]。HDFS 的架构也采用了主/从（Master/Slave）架构，如图 2.3 所示。HDFS 只有一个NameNode，它是整个系统的管理者，它管理 HDFS 的命名空间和相关元数据信息，还负责监控各个 DataNode 的运行状态。HDFS 可以有多个 DataNode，用户通过 NameNode 和DataNode 进行通信，访问 HDFS 中的文件。每个 DataNode 主要负责真实的数据存储，然后将数据的信息返回给 NameNode[15]。
【参考文献】：
期刊论文
[1]基于Hadoop的图书馆非结构化大数据分析与决策系统研究[J]. 陈臣. 情报科学. 2017(01)
[2]高校图书馆图书推荐系统中的稀疏性问题实证探析[J]. 张闪闪,黄鹏. 大学图书馆学报. 2014(06)
[3]大数据:概念、技术及应用研究综述[J]. 方巍,郑玉,徐江. 南京信息工程大学学报(自然科学版). 2014(05)
[4]Hadoop平台在图书推荐应用中的性能分析[J]. 赵彦辉,刘树春. 现代情报. 2014(10)
[5]浅谈大数据时代公共图书馆阅读推荐服务现状[J]. 白海龙. 晋图学刊. 2014(04)
[6]协同过滤推荐算法研究综述[J]. 汪静. 中国新通信. 2014(13)
[7]数字图书馆信息服务中资源推荐策略分析[J]. 熊拥军,袁小一,崔永. 图书馆学研究. 2014(07)
[8]基于Hadoop与Mahout的协同过滤图书推荐研究[J]. 奉国和,黄家兴. 图书情报工作. 2013(18)
[9]个性化推荐系统研究[J]. 顾丽敏. 无线互联科技. 2013(08)
[10]近十年高校图书馆图书推荐研究综述[J]. 刘书芬. 韶关学院学报. 2013(07)
硕士论文
[1]基于Mahout、Hadoop的推荐系统研究与实现[D]. 宋光晓.长江大学 2016
[2]基于大数据分析的推荐系统研究[D]. 房璐璐.北京邮电大学 2015
[3]基于Hadoop平台和Mahout框架的推荐系统研究与实现[D]. 潘燕红.浙江大学 2015
[4]基于Hadoop与Mahout推荐技术的研究与实现[D]. 张建平.西安电子科技大学 2014
[5]基于数据挖掘的图书馆书目推荐服务的研究[D]. 荆月敏.中北大学 2014
[6]基于协同过滤技术的图书推荐系统研究[D]. 杨永权.华南理工大学 2013
[7]基于Apache Mahout的推荐算法的研究与实现[D]. 常江.电子科技大学 2013
[8]个性化混合推荐算法的研究[D]. 张腾季.浙江大学 2013
[9]数据挖掘技术在高校图书推荐系统中的应用[D]. 刘卓.大连理工大学 2012
[10]基于Hadoop的数据挖掘算法的分析与研究[D]. 张明辉.昆明理工大学 2012
本文编号：3393069
【文章来源】：宁波大学浙江省
【文章页数】：44 页
【学位级别】：硕士
【部分图文】：
Hadoop项目结构
p 和 Reduce 两个过程，用户借助这两个过程，就可以设计出简单的分布式程序，而大量的复杂的程序代码，只需要编写 Map()和 Reduce()这两个函数即可。其主要步下 5 个步骤：（1）遍历所有输入数据，并将输入数据解析成 key/value 形式的键/值对。（2）这些 key/value 键/值对作为 Map()函数的输入数据，运行结果将会生成另外的key/value 键/值对集合作为输出。（3）MapReduce 编程模型依据 key 值对这些中间数据进行分组，所有相同 key 值 value 值被归类在一起。（4）Reduce()函数以分组后的 key/value 对数据进行 reduce，合并相同 key 值对应的产生新的 key/value 对作为最终输出。（5）将最终的输出结果写入到文件中进行保存。MapReduce 的架构采用了主/从（Master/Slave）架构，具体如图 2.2 所示。它主要个组件组成：Client、JobTracker、TaskTracker 和 Task，其中 Task 分为 Map Task 和 Rk。用户通过 Client 将 MapReduce 任务提交给 JobTracker，同时也可以通过它提供的来查看作业的运行状况。JobTracker 负责资源的监控和任务的调度，并将任务添加等待执行，它会将 map 任务和 reduce 任务分配到 TaskTracker。TaskTracker 会周期将资源和任务的使用、运行情况返回给 JobTracker，与此同时，还会接收 JobTrack来的命令来继续执行下一阶段的任务，处理 map 和 reduce 两个阶段的数据传输。
宁波大学硕士专业学位论文2.1.2 HDFS 简介HDFS 的全称是 Hadoop Distributed File System，是 Hadoop 中的分布式文件系统，它最大的优点就是具有高度的容错性，是 Hadoop 分布式计算的存储基础，可以提供高吞吐量的数据访问，十分适合在大数据存储上的应用。无论是的大规模的集群还是小型的廉价计算机上，HDFS 都可以部署运行，可靠地存储超大规模的数据文件，而且可以被大量的用户访问和读取。HDFS 存储超大文件采用的是流式数据访问模式，即数据在被用户一次写入以后，就可以多次地被读取，从而可以达到最高效率的访问模式。HDFS 上的文件都是以块（block）为单位，块大小默认为 64MB，另外 HDFS 上的文件会被划分为块大小的多个分块（chunk），与其他文件系统略相似[15]。HDFS 的架构也采用了主/从（Master/Slave）架构，如图 2.3 所示。HDFS 只有一个NameNode，它是整个系统的管理者，它管理 HDFS 的命名空间和相关元数据信息，还负责监控各个 DataNode 的运行状态。HDFS 可以有多个 DataNode，用户通过 NameNode 和DataNode 进行通信，访问 HDFS 中的文件。每个 DataNode 主要负责真实的数据存储，然后将数据的信息返回给 NameNode[15]。
【参考文献】：
期刊论文
[1]基于Hadoop的图书馆非结构化大数据分析与决策系统研究[J]. 陈臣. 情报科学. 2017(01)
[2]高校图书馆图书推荐系统中的稀疏性问题实证探析[J]. 张闪闪,黄鹏. 大学图书馆学报. 2014(06)
[3]大数据:概念、技术及应用研究综述[J]. 方巍,郑玉,徐江. 南京信息工程大学学报(自然科学版). 2014(05)
[4]Hadoop平台在图书推荐应用中的性能分析[J]. 赵彦辉,刘树春. 现代情报. 2014(10)
[5]浅谈大数据时代公共图书馆阅读推荐服务现状[J]. 白海龙. 晋图学刊. 2014(04)
[6]协同过滤推荐算法研究综述[J]. 汪静. 中国新通信. 2014(13)
[7]数字图书馆信息服务中资源推荐策略分析[J]. 熊拥军,袁小一,崔永. 图书馆学研究. 2014(07)
[8]基于Hadoop与Mahout的协同过滤图书推荐研究[J]. 奉国和,黄家兴. 图书情报工作. 2013(18)
[9]个性化推荐系统研究[J]. 顾丽敏. 无线互联科技. 2013(08)
[10]近十年高校图书馆图书推荐研究综述[J]. 刘书芬. 韶关学院学报. 2013(07)
硕士论文
[1]基于Mahout、Hadoop的推荐系统研究与实现[D]. 宋光晓.长江大学 2016
[2]基于大数据分析的推荐系统研究[D]. 房璐璐.北京邮电大学 2015
[3]基于Hadoop平台和Mahout框架的推荐系统研究与实现[D]. 潘燕红.浙江大学 2015
[4]基于Hadoop与Mahout推荐技术的研究与实现[D]. 张建平.西安电子科技大学 2014
[5]基于数据挖掘的图书馆书目推荐服务的研究[D]. 荆月敏.中北大学 2014
[6]基于协同过滤技术的图书推荐系统研究[D]. 杨永权.华南理工大学 2013
[7]基于Apache Mahout的推荐算法的研究与实现[D]. 常江.电子科技大学 2013
[8]个性化混合推荐算法的研究[D]. 张腾季.浙江大学 2013
[9]数据挖掘技术在高校图书推荐系统中的应用[D]. 刘卓.大连理工大学 2012
[10]基于Hadoop的数据挖掘算法的分析与研究[D]. 张明辉.昆明理工大学 2012
本文编号：3393069
本文链接：https://www.wllwen.com/tushudanganlunwen/3393069.html
