基于广域网大数据传输技术的研究与实现

发布时间：2017-05-13 13:03

  本文关键词：基于广域网大数据传输技术的研究与实现，由笔耕文化传播整理发布。

【摘要】：随着网络技术的发展，以及计算机处理能力的提升，互联网产品如雨后春笋般涌现，整个世界正逐渐向万物互联靠近。然而随之产生的海量数据却困扰着众多科研工作者，这些数据不仅容量大，产生速度快，而且种类繁多，具有跨地域性特点。人们通常将这样的数据称之为大数据，由大数据所衍生的一些应用，如舆情分析、气象预测以及广告投放等，都具有重要商业价值和科研价值。大数据在广域网内高效稳定地传输，是大数据应用的前提，也是进行大数据分析与处理的基础。传统广域网数据传输的解决方案虽然比较成熟，但在大数据时代具有诸多局限性，例如传输过程繁琐，传输效率不佳以及不适用于多源数据传输。 论文对大数据传输相关内容进行了深入研究，重点解决了广域网内数据传输不稳定以及传输效率低的问题。本文通过对比研究，选取TCP作为传输层协议，设计出一种高效的应用层报文，以解决传输过程繁琐的问题；通过对相关数据传输技术以及广域网加速方案的分析与研究，利用推送与收取的思想，，设计了以事件为驱动的消息队列，以保证大数据传输的可靠性；结合广域网和大数据的特点，通过自动调节机制，设计了一种高效的资源控制和缓存控制方法，以提高数据传输的效率；利用JAVA和C语言完成了通信管理模块、数据报封装模块、节点数据传输模块以及中心同步模块的设计和集成，构建了一种基于消息队列的大数据传输系统。通过对传输系统的功能和性能测试，证明了论文设计的传输系统与其他的传输系统相比，传输速率和网络丢包率都有一定优势。
【关键词】：大数据 数据传输 消息队列 分布式技术 广域网
【学位授予单位】：河北科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.2
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-15
• 1.1 论文研究背景和意义9-10
• 1.2 国内外研究现状10-12
• 1.3 课题研究内容12
• 1.4 论文组织结构12-15
• 第2章 相关内容分析15-29
• 2.1 概述15
• 2.2 网络传输协议15-19
• 2.2.1 网络模型15-16
• 2.2.2 数据链路层分析16-17
• 2.2.3 网络层分析17-18
• 2.2.4 传输层分析18-19
• 2.3 数据交换格式19-22
• 2.3.1 数据交换格式在数据传输中的地位19
• 2.3.2 常见的数据交换格式19-22
• 2.4 消息中间件技术22-24
• 2.4.1 消息中间件介绍22
• 2.4.2 消息中间件的特点22-23
• 2.4.3 各类消息中间件23-24
• 2.5 分布式技术24-25
• 2.5.1 分布式技术的产生24
• 2.5.2 分布式技术的核心24
• 2.5.3 大数据传输中的分布式技术24-25
• 2.6 网络编程25-27
• 2.6.1 网络编程的概念25
• 2.6.2 Socket 通信过程25-26
• 2.6.3 常见的网络编程技术26-27
• 2.7 本章小结27-29
• 第3章 传输稳定高效性对比研究29-41
• 3.1 概述29
• 3.2 传输协议选择29-34
• 3.2.1 传输协议对比29-30
• 3.2.2 TCP 连接建立与结束30-33
• 3.2.3 TCP 长连接测试33-34
• 3.3 分布式多线程34-36
• 3.3.1 自适应线程池35
• 3.3.2 分布式传输35-36
• 3.4 异步传输36-37
• 3.5 拥塞控制37-38
• 3.5.1 拥塞控制原理37
• 3.5.2 拥塞控制优化37-38
• 3.6 流量控制38-39
• 3.6.1 流量控制原理38
• 3.6.2 流量控制优化38-39
• 3.7 本章小结39-41
• 第4章 大数据传输系统设计与实现41-57
• 4.1 系统架构组成41
• 4.2 通信管理模块41-46
• 4.2.1 基础服务子模块42-43
• 4.2.2 传输控制子模块43-44
• 4.2.3 事务管理子模块44-46
• 4.3 数据报封装模块46-48
• 4.3.1 交换格式数据生成46-47
• 4.3.2 报文头部的生成47
• 4.3.3 报文的封装47-48
• 4.4 节点数据传输模块48-54
• 4.4.1 数据发送与接收48-49
• 4.4.2 本地缓存控制49-51
• 4.4.3 可靠传输实现51-52
• 4.4.4 缓冲区大小设置52-53
• 4.4.5 中断处理设计53-54
• 4.5 中心数据同步模块54-56
• 4.5.1 大数据收集器 BD_MC54-55
• 4.5.2 数据存储控制55-56
• 4.6 本章小结56-57
• 第5章 系统测试57-65
• 5.1 搭建系统测试环境57-58
• 5.1.1 查看服务器配置57
• 5.1.2 系统部署57
• 5.1.3 测试指标57-58
• 5.2 数据传输系统功能测试58-60
• 5.3 数据传输吞吐量对比测试60-63
• 5.4 丢包率对比测试63-64
• 5.5 测试总结64
• 5.6 本章小结64-65
• 结论65-67
• 参考文献67-71
• 致谢71

【参考文献】

中国期刊全文数据库 前10条

1 于晓鹏;陈建孝;李永丽;;基于消息队列的分布式系统数据一致性方法研究[J];吉林大学学报(信息科学版);2011年03期

2 刘喜作;周晶;梁德清;;基于UDP的大数据包可靠传输[J];电讯技术;2012年01期

3 刘锦德;姜新文;;基于SOA的特种行业治安管理信息系统研究[J];电脑知识与技术;2008年07期

4 张诚;罗丰;;基于千兆以太网的高速数据传输系统设计[J];电子科技;2011年01期

5 王伟;许云峰;高凯;;基于哈希表的动态向量降维方法的研究及应用[J];河北科技大学学报;2011年04期

6 赵冲冲;王鑫;胡长军;;XML格式领域数据传输的优化技术研究[J];计算机科学;2009年08期

7 刘晓建;吴庆波;戴华东;任怡;;一种用于并行系统的非阻塞消息队列机制[J];计算机工程与科学;2011年04期

8 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[J];计算机学报;2010年08期

9 王珊;王会举;覃雄派;周p

本文编号：362596