基于协同过滤的CPS数据处理算法研究
发布时间：2022-12-25 11:28
CPS技术正对物理世界和信息世界的交互方式产生着潜移默化的影响。信息物理融合系统集嵌入式计算、传感、网络通信控制于一体,为智能化社会的建设提供巨大支持,随着信息物理融合系统蓬勃发展,网络数据资源进入爆炸增长时代,要实现实时存储、处理分析,满足人们的迫切需求,就需要将基于大数据的信息物理融合系统作为发展重点。为了满足不同巨量数据用户的目的与需求,各种异构数据融合和处理推荐算法陆续被提出来与运用,其中最为著名的是协同过滤推荐算法。根据过去的研究,虽然协同过滤推荐算法很成功地应用在推荐系统领域中,但仍然存在着诸多困扰,如扩展性、冷启动及数据稀疏性等,数据处理质量都会受到上述困扰影响而降低。因此,本研究使用正常恢复相似性度量以修正协同过滤推荐算法的误差值,并在云端Hadoop环境中,比较测量在3、6以及9个节点情况下与单机执行的时间,分析改进协同过滤算法的加速比及效能,主要的内容和贡献如下:1.以基于用户的协同过滤算法为基础,采用BP神经网络算法对协同过滤算法的正常恢复相似性度量方法进行改进,以完善协同过滤推荐算法计算误差,提高CPS数据处理的时间加速比。2.搭建实验环境,在Hadoop平台上...
【文章页数】：60 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.3 研究的主要内容和章节安排
第二章 相关技术与理论概述
2.1 物联网异构数据传输协议
2.1.1 网络层的传输协议
2.1.2 应用层的传输协议
2.2 物联网的服务发现
2.3 协同过滤算法
2.3.1 协同过滤算法的数据收集
2.3.2 数据预处理
2.3.3 使用者为基础的协同过滤
2.4 BP神经网络
2.5 Apache Hadoop
2.5.1 Map Reduce
2.5.2 分布式文件系统
2.5.3 Apache Mahout
第三章 基于BP神经网络和协同过滤算法的数据处理推荐算法研究
3.1 算法改进思想
3.2 算法改进
3.2.1 协同过滤程序
3.2.2 皮尔森相关系数
3.2.3 正常恢复相似性度量
第四章 基于改进协同过滤算法的数据处理实现
4.1 实验环境
4.2 基于用户的协同过滤算法实现
4.3 算法加速比比较分析
4.4 分析时间的比较
结论
参考文献
攻读硕士学位期间发表的学术论文
致谢
【参考文献】：
期刊论文
[1]采用评论挖掘修正用户评分的改进协同过滤算法[J]. 王红霞,陈健,程艳芬. 浙江大学学报(工学版). 2019(03)
[2]基于NB-IoT及ZigBee的无线传感器网络网关设计[J]. 李玲,郭晓玲,武仁杰,徐婷. 通信技术. 2019(01)
[3]加权自学习哈希高维数据最近邻查询算法[J]. 熊一利. 计算机工程与设计. 2018(12)
[4]基于线性四分树的空间关键词最近邻查询方法研究[J]. 于启迪,吴雷,马昂. 计算机应用与软件. 2018(11)
[5]时空大数据背景下并行数据处理分析挖掘的进展及趋势[J]. 关雪峰,曾宇媚. 地理科学进展. 2018(10)
[6]基于搜索改进的KNN文本分类算法[J]. 殷亚博,杨文忠,杨慧婷,许超英. 计算机工程与设计. 2018(09)
[7]基于Hadoop、Spark及Flink大规模数据分析的性能评价[J]. 代明竹,高嵩峰. 中国电子科学研究院学报. 2018(02)
[8]神经网络模型压缩方法综述[J]. 曹文龙,芮建武,李敏. 计算机应用研究. 2019(03)
[9]基于MQTT的物联网系统消息发布/订阅方法研究[J]. 张玉杰,张海涛,张婷婷. 电视技术. 2017(Z3)
[10]一种基于Spark与BP神经网络的入侵检测方法[J]. 王辉,王勇,柯文龙. 电脑知识与技术. 2017(16)
博士论文
[1]不确定TOP-K查询处理关键技术研究[D]. 肖国庆.湖南大学 2017
[2]面向信息物理融合系统的资源索引构建和查询优化技术研究[D]. 马武彬.国防科学技术大学 2014
硕士论文
[1]家庭用电智能管理系统的研究[D]. 丁雨彤.华东交通大学 2018
[2]基于Zigbee+WiFi技术的智能家居网关系统的研究与设计[D]. 张保森.上海师范大学 2018
[3]基于COS系统的蓝牙4.0低功耗的研究与实现[D]. 赵小燕.东南大学 2016
[4]实时数据流的聚类和聚类边界检测[D]. 梁小波.武汉科技大学 2012
[5]基于Zigbee协议的无线网络软硬件研究与设计[D]. 胡鹏飞.电子科技大学 2012
本文编号：3726527
【文章页数】：60 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.3 研究的主要内容和章节安排
第二章 相关技术与理论概述
2.1 物联网异构数据传输协议
2.1.1 网络层的传输协议
2.1.2 应用层的传输协议
2.2 物联网的服务发现
2.3 协同过滤算法
2.3.1 协同过滤算法的数据收集
2.3.2 数据预处理
2.3.3 使用者为基础的协同过滤
2.4 BP神经网络
2.5 Apache Hadoop
2.5.1 Map Reduce
2.5.2 分布式文件系统
2.5.3 Apache Mahout
第三章 基于BP神经网络和协同过滤算法的数据处理推荐算法研究
3.1 算法改进思想
3.2 算法改进
3.2.1 协同过滤程序
3.2.2 皮尔森相关系数
3.2.3 正常恢复相似性度量
第四章 基于改进协同过滤算法的数据处理实现
4.1 实验环境
4.2 基于用户的协同过滤算法实现
4.3 算法加速比比较分析
4.4 分析时间的比较
结论
参考文献
攻读硕士学位期间发表的学术论文
致谢
【参考文献】：
期刊论文
[1]采用评论挖掘修正用户评分的改进协同过滤算法[J]. 王红霞,陈健,程艳芬. 浙江大学学报(工学版). 2019(03)
[2]基于NB-IoT及ZigBee的无线传感器网络网关设计[J]. 李玲,郭晓玲,武仁杰,徐婷. 通信技术. 2019(01)
[3]加权自学习哈希高维数据最近邻查询算法[J]. 熊一利. 计算机工程与设计. 2018(12)
[4]基于线性四分树的空间关键词最近邻查询方法研究[J]. 于启迪,吴雷,马昂. 计算机应用与软件. 2018(11)
[5]时空大数据背景下并行数据处理分析挖掘的进展及趋势[J]. 关雪峰,曾宇媚. 地理科学进展. 2018(10)
[6]基于搜索改进的KNN文本分类算法[J]. 殷亚博,杨文忠,杨慧婷,许超英. 计算机工程与设计. 2018(09)
[7]基于Hadoop、Spark及Flink大规模数据分析的性能评价[J]. 代明竹,高嵩峰. 中国电子科学研究院学报. 2018(02)
[8]神经网络模型压缩方法综述[J]. 曹文龙,芮建武,李敏. 计算机应用研究. 2019(03)
[9]基于MQTT的物联网系统消息发布/订阅方法研究[J]. 张玉杰,张海涛,张婷婷. 电视技术. 2017(Z3)
[10]一种基于Spark与BP神经网络的入侵检测方法[J]. 王辉,王勇,柯文龙. 电脑知识与技术. 2017(16)
博士论文
[1]不确定TOP-K查询处理关键技术研究[D]. 肖国庆.湖南大学 2017
[2]面向信息物理融合系统的资源索引构建和查询优化技术研究[D]. 马武彬.国防科学技术大学 2014
硕士论文
[1]家庭用电智能管理系统的研究[D]. 丁雨彤.华东交通大学 2018
[2]基于Zigbee+WiFi技术的智能家居网关系统的研究与设计[D]. 张保森.上海师范大学 2018
[3]基于COS系统的蓝牙4.0低功耗的研究与实现[D]. 赵小燕.东南大学 2016
[4]实时数据流的聚类和聚类边界检测[D]. 梁小波.武汉科技大学 2012
[5]基于Zigbee协议的无线网络软硬件研究与设计[D]. 胡鹏飞.电子科技大学 2012
本文编号：3726527
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3726527.html
