互联网海量流量信息采集与传输关键技术的研究与实现

发布时间：2020-10-24 20:50

　　 随着我国互联网的飞速发展,国民经济与互联网技术革新的联系愈发紧密。互联网服务客户数量每年不断攀升,接入互联网的各类终端设备不断增加,越来越多的企业开始依托互联网进行业务扩展。由各类数据终端产生的海量数据而衍生出的应用如客户行为跟踪、舆情分析、广告投放等,具有高昂的商业价值与科研价值。然而这些数据因其容量大、产生速度快、种类繁多及跨地域等特点而使得它们对采集与传输技术水平的要求极高,成为了科研工作者的难题。大数据采集和在广域网内的有效传输是大数据应用的基础,也是大数据分析处理的基础,系统需要根据该应用场景进行针对性设计。本文首先介绍了大数据传输中消息队列技术与负载均衡技术的背景知识,详细说明了数据采集与传输系统的架构,对系统中涉及到的相关技术,如分布式协调技术、存储技术等进行了详细的介绍,在此背景下提出了消息队列优化方案;其次,对文件服务器集群中负载均衡关键技术进行探究,经过对于传统负载均衡算法优劣分析,设计了一种崭新的动态负载均衡算法,解决了传统算法在异构集群表现不佳,对实时负载变化敏感度不足的问题。最后,对文中提出的方案就负载效果、数据实时性效果方面与传统数据传输方案中相对应技术进行了对比实验。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP311.13;TP393.06
【部分图文】：

?探针设备??图２－１海量数据采集与传输系统架构图??如图２－１所示，数据采集与传输系统为四层结构系统，其层次结构包括数据??采集层、传输层、数据存储与预处理层、业务处理层。本文根据其在实际业务场??景中的应用对各层次功能进行阐述。??２．２＿１采集层??在数据采集层，采用专用的硬件探针设备，该硬件探针设备为ＭＩＰＳ??７??

名称从０开始，之后每一个Ｓｅｇｍｅｎｔ文件命名为上一个Ｓｅｇｍｅｎｔ文件最后一条消??息的ｏｆｆｓｅｔ。这种稀疏索引方式有效降低了对存储空间的需求。Ｋａｆｋａ磁盘存储??结构如图３－２所示。??１４??

??—＾??图３－１?Ｋａｆｋａ数据写入过程??３．２．２数据管理技术??消息队列需要保证流式数据的ＦＩＦＯ特性，并且大数据技术桟中的并发计算??方式同样需要分区内数据可以高速有序读取，因此必要的数据管理机制具有重大??意义。??Ｋａ＆ａ存储逻辑中，通过数据分区及消息标识Ｏｆｆｓｅｔ机制进行数据管理。??Ｋａｆｋａ中每个Ｔｏｐｉｃ划分为一组互相独立的分区，这些分区的语义由数据生产者??客户端Ｐｒｏｄｕｃｅｒ定义，并且Ｐｒｏｄｕｃｅｒ指定每条消息存储于哪个分区内。Ｐｒｏｄｕｃｅｒ??端上传数据时，己经将每条Ｍｅｓｓａｇｅ按照一定的分区函数划分到分区相应的队列??中，队列中数据按批次上传至Ｋａ＆ａ集群。这种处理方式确保了不需要为每一条??数据存储一条元数据
【相似文献】

相关期刊论文 前10条

1 邰宇;;基于海量数据消息队列的性能比较及其优化[J];科技传播;2018年03期

2 胡志辉;牛德雄;许国庆;;消息队列管理在信息交换中的研究[J];计算机与现代化;2009年01期

3 邓波;防止消息队列阻塞的办法[J];华南金融电脑;2003年06期

4 肖翼翔,万庆萱,王长年,苏厚勒;基于消息队列机制的中间件及其在一卡通项目中的应用[J];微型电脑应用;2000年07期

5 沈华峰;;如何实现进程通信的程序设计——消息队列方法[J];上海微型计算机;1998年16期

6 逄焕众;用于进程间通信的消息队列探讨[J];中国金融电脑;1998年08期

7 王颖;李立新;黄伟健;;基于消息队列的数据库并发服务器的实现[J];微计算机信息;2006年03期

8 周世杰;刘锦德;秦志光;;消息队列技术研究:综述与一个实例[J];计算机科学;2002年02期

9 张英辉;;消息队列技术在短信通信中的应用[J];中小企业管理与科技(上旬刊);2013年03期

10 穆荣均;;消息队列漫谈[J];程序员;2010年11期

相关博士学位论文 前2条

1 卢本捷;分布式消息队列的理论、实现与应用[D];华中科技大学;2004年

2 苑洪亮;基于内容的“发布/订阅”若干关键技术研究[D];国防科学技术大学;2006年

相关硕士学位论文 前10条

1 侯伟光;互联网海量流量信息采集与传输关键技术的研究与实现[D];北京邮电大学;2019年

2 朱辉辉;高并发电商评论系统的设计与实现[D];南京大学;2019年

3 高凡;消息队列技术在车联网综合信息平台系统的应用研究[D];湖北大学;2018年

4 解晓鹏;云联络系统中基于消息队列的分布式网关的研究与应用[D];西安电子科技大学;2018年

5 李斌超;基于消息队列的iSIGHT模型文件管理系统的设计与实现[D];北京工业大学;2018年

6 方文权;基于视频信息的情绪感知系统的研究与实现[D];电子科技大学;2018年

7 韩旭;蚂蚁金服消息队列运维平台的设计与实现[D];南京大学;2018年

8 于阁;基于消息队列引擎的智能家居移动控制系统的研究与设计[D];吉林大学;2018年

9 丁屹峰;农信系统的短信平台设计与实现[D];东南大学;2018年

10 王郑合;基于Kafka的消息队列在射天文数据处理中应用的研究[D];昆明理工大学;2017年

本文编号：2854963