基于深度学习的大数据分析预测系统的设计与实现
发布时间：2022-01-08 02:16
伴随着信息与通信技术的高速发展,全球数据量呈现爆炸式增长。如何对海量复杂的数据进行有效分析,挖掘实现其中潜在价值并合理利用,是当前的重要课题之一。在语音识别、图像理解、自然语言处理、视频推荐等数据处理及应用领域,深度学习不仅改变着传统的机器学习方法,而且已引发了突破性的变革。深度学习的蓬勃发展使得各行业对深度学习的使用需要越加迫切。然而深度学习对于普通行业使用者而言使用门槛相对较高,既需要大量的时间成本用于学习使用及复杂的底层模型编写,又需要大量的计算服务器等硬件成本用于搭建深度学习框架。基于上述的研究背景及现状,本文设计并实现了基于深度学习的大数据分析预测系统,旨在支持深度学习使用、降低使用者使用成本与操作复杂性。首先本文调研现有的大数据与深度学习相关的处理框架与有关技术,结合对系统设计场景、功能需求、性能需求等分析,设计提出了包含数据吸收、系统框架、算法模型、集成组件、服务应用的五层整体架构,为系统具体实现奠定基础。接着对大数据分析预测系统中的各功能模块的具体设计与实现目标进行了详细介绍。此外,本文为提升系统中所使用算法模型的训练效率,对于深度学习中的卷积神经网络进行了研究分析,并...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
HDFS节点组织架构图
：?；？?．：??Ｊ３ｖＳ／?Ｆ?…二■．厂＇?Ｉ?：＾＾５２Ｓ５ＳＢｉ??Ｉｂｈｒｈｈｈｒ?ＩｈｍＨＨＩ?ＲＨＨｆｌＨＲ??图２－１?ＨＤＦＳ节点组织架构图??散存储于各ＤａｔａＮｏｄｅ节点，每个存储的文件块的元数据信息则将存储于ＮａｍｅＮｏｄｅ??以供定位存储文件块。用户进行ＨＤＦＳ的数据存取操作时，通过ＨＤＦＳ中的客户端??机器节点与ＮａｍｅＮｏｄｅ节点进行通信来进一步数据交互操作。??当用户进行数据写入操作时如图２－２所示，首先通过ＨＤＦＳ客户端节点创新虚拟??文件系统与对应服务器集群的ＮａｍｅＮｏｄｅ节点通信以创建一个没有任何文件块关联??的新数据文件及其元数据信息，并获取得到可以进行数据存储的ＤａｔａＮｏｄｅ节点列??表。接着通过ＨＤＦＳ客户端节点将写入的文件内容输入文件写入本地缓冲区。当缓??冲区内容大小达到ＨＤＦＳ的文件块大小时，再与接收得到的ＤａｔａＮｏｄｅ节点列表中的??某一?ＤａｔａＮｏｄｅ节点进行通信，并将溢写发送至该节点。该ＤａｔａＮｏｄｅ节点每接收一??
第二章相关技术研究综述??个数据文件块完成时，将遵守ＨＤＦＳ默认的３副本模式，与另一个ＤａｔａＮｏｄｅ节点进??行通信并传输该文件块，同时下一?ＤａｔａＮｏｄｅ节点也将重复此操作。这一机制通过冗??余存储保证了?ＨＤＦＳ数据存储服务的高容错和高可靠性，是ＨＤＦＳ中重要的一部分。??而当用户进行数据读取操作时如图２－３所示，也首先通过ＨＤＦＳ客户端节点创新??拟文件系统与对应服务器集群的ＮａｍｅＮｏｄｅ节点通信，获取得到该数据文件所对??的元数据信息，包含数据文件的各文件块所在ＤａｔａＮｏｄｅ节点及其中存储位置。接??通过ＨＤＦＳ客户端节点直接与包含对应数据文件块三副本中任一?ＤａｔａＮｏｄｅ节点进??通信获取数据文件块。ＨＤＦＳ客户端节点接收完该文件的全部文件块再重组形成??始文件信息传输给用户。??
【参考文献】：
期刊论文
[1]基于并行卷积神经网络的军事目标图像分类技术[J]. 张春雷. 电子设计工程. 2019(08)
[2]卷积神经网络（CNN）算法的FPGA并行结构设计[J]. 王巍,周凯利,王伊昌,王广,杨正琳,袁军. 微电子学与计算机. 2019(04)
[3]基于训练数据动态分配的深度学习并行优化机制[J]. 颜子杰,陈孟强,吴维刚. 计算机工程与科学. 2018(S1)
[4]基于Spark的并行化协同深度推荐模型[J]. 贾晓光. 计算机工程与应用. 2018(14)
[5]基于Caffe的嵌入式多核处理器深度学习框架并行实现[J]. 高榕,张良,梅魁志. 西安交通大学学报. 2018(06)
[6]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪. 计算机学报. 2018(08)
[7]深度学习相关研究综述[J]. 张军阳,王慧丽,郭阳,扈啸. 计算机应用研究. 2018(07)
[8]基于深度学习的并行负荷预测方法[J]. 卢杏坚,高小征. 自动化与信息工程. 2017(04)
[9]深度学习框架和加速技术探讨[J]. 余伟豪,李忠,安建琴,宋奕瑶. 软件. 2017(06)
[10]深度学习框架下LSTM网络在短期电力负荷预测中的应用[J]. 陈亮,王震,王刚. 电力信息与通信技术. 2017(05)
硕士论文
[1]卷积神经网络算法及应用研究[D]. 赵井飞.沈阳航空航天大学 2018
本文编号：3575706
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
HDFS节点组织架构图
：?；？?．：??Ｊ３ｖＳ／?Ｆ?…二■．厂＇?Ｉ?：＾＾５２Ｓ５ＳＢｉ??Ｉｂｈｒｈｈｈｒ?ＩｈｍＨＨＩ?ＲＨＨｆｌＨＲ??图２－１?ＨＤＦＳ节点组织架构图??散存储于各ＤａｔａＮｏｄｅ节点，每个存储的文件块的元数据信息则将存储于ＮａｍｅＮｏｄｅ??以供定位存储文件块。用户进行ＨＤＦＳ的数据存取操作时，通过ＨＤＦＳ中的客户端??机器节点与ＮａｍｅＮｏｄｅ节点进行通信来进一步数据交互操作。??当用户进行数据写入操作时如图２－２所示，首先通过ＨＤＦＳ客户端节点创新虚拟??文件系统与对应服务器集群的ＮａｍｅＮｏｄｅ节点通信以创建一个没有任何文件块关联??的新数据文件及其元数据信息，并获取得到可以进行数据存储的ＤａｔａＮｏｄｅ节点列??表。接着通过ＨＤＦＳ客户端节点将写入的文件内容输入文件写入本地缓冲区。当缓??冲区内容大小达到ＨＤＦＳ的文件块大小时，再与接收得到的ＤａｔａＮｏｄｅ节点列表中的??某一?ＤａｔａＮｏｄｅ节点进行通信，并将溢写发送至该节点。该ＤａｔａＮｏｄｅ节点每接收一??
第二章相关技术研究综述??个数据文件块完成时，将遵守ＨＤＦＳ默认的３副本模式，与另一个ＤａｔａＮｏｄｅ节点进??行通信并传输该文件块，同时下一?ＤａｔａＮｏｄｅ节点也将重复此操作。这一机制通过冗??余存储保证了?ＨＤＦＳ数据存储服务的高容错和高可靠性，是ＨＤＦＳ中重要的一部分。??而当用户进行数据读取操作时如图２－３所示，也首先通过ＨＤＦＳ客户端节点创新??拟文件系统与对应服务器集群的ＮａｍｅＮｏｄｅ节点通信，获取得到该数据文件所对??的元数据信息，包含数据文件的各文件块所在ＤａｔａＮｏｄｅ节点及其中存储位置。接??通过ＨＤＦＳ客户端节点直接与包含对应数据文件块三副本中任一?ＤａｔａＮｏｄｅ节点进??通信获取数据文件块。ＨＤＦＳ客户端节点接收完该文件的全部文件块再重组形成??始文件信息传输给用户。??
【参考文献】：
期刊论文
[1]基于并行卷积神经网络的军事目标图像分类技术[J]. 张春雷. 电子设计工程. 2019(08)
[2]卷积神经网络（CNN）算法的FPGA并行结构设计[J]. 王巍,周凯利,王伊昌,王广,杨正琳,袁军. 微电子学与计算机. 2019(04)
[3]基于训练数据动态分配的深度学习并行优化机制[J]. 颜子杰,陈孟强,吴维刚. 计算机工程与科学. 2018(S1)
[4]基于Spark的并行化协同深度推荐模型[J]. 贾晓光. 计算机工程与应用. 2018(14)
[5]基于Caffe的嵌入式多核处理器深度学习框架并行实现[J]. 高榕,张良,梅魁志. 西安交通大学学报. 2018(06)
[6]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪. 计算机学报. 2018(08)
[7]深度学习相关研究综述[J]. 张军阳,王慧丽,郭阳,扈啸. 计算机应用研究. 2018(07)
[8]基于深度学习的并行负荷预测方法[J]. 卢杏坚,高小征. 自动化与信息工程. 2017(04)
[9]深度学习框架和加速技术探讨[J]. 余伟豪,李忠,安建琴,宋奕瑶. 软件. 2017(06)
[10]深度学习框架下LSTM网络在短期电力负荷预测中的应用[J]. 陈亮,王震,王刚. 电力信息与通信技术. 2017(05)
硕士论文
[1]卷积神经网络算法及应用研究[D]. 赵井飞.沈阳航空航天大学 2018
本文编号：3575706
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3575706.html
