分布式业务性能采集与海量数据分析系统的研究与实现
发布时间：2021-11-03 20:55
近年来,随着互联网技术的蓬勃发展,网络上的应用越来越多,网络拓扑以及网络环境日益复杂。网络上的负载逐渐加重,导致网络性能下降等网络安全和服务质量问题。这些问题引起了越来越多的关注。为解决这些问题,为新的网络业务进行规划,需要对网络的性能指标进行分析,对网络服务质量进行监控和评估,从而评估网络的总体性能。如何对海量的测量数据进行统计分析,从中得出网络总体性能情况,是网络测量的研究重点。在现有技术中,网络测量的数据分析操作大多采用集中管理的平台。由独立的一个管理平台同时对多个测量探针的海量测量数据进行采集与分析,无法保证数据的完整性和可靠性。另一方面,在面对海量的测量数据时,因其计算能力有限,不具备对海量数据进行分析的能力。随着云计算技术的推广,利用云计算平台强大的计算能力来处理海量数据,已经成为当前网络测量的研究与发展趋势。分布式业务性能采集与海量数据分析系统利用Hadoop平台的MapReduce计算模型,解决了海量数据的快速计算的问题,并运用性能评估算法,从海量测量数据中分析出网络的整体性能情况。在Hadoop框架的任务分配和失效容错原理的基础上,为系统添加了任务分配和节点失效容错机...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：75 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一节 绪论
1.1 选题背景及意义
1.2 主要研究工作及贡献
1.3 论文组织结构
第二章 相关技术背景介绍
2.1 云计算简介
2.1.1 什么是云计算
2.1.2 Hadoop云计算框架
2.2 网络测量相关研究现状
2.3 网络性能指标简介
2.3.1 基础网络性能指标简介
2.3.2 网络所承载业务性能指标简介
2.4 网络性能评价方法简介
第三章 分布式业务性能采集与海量数据分析系统需求分析
3.1 需求分析
3.2 设计原则
3.3 系统功能划分
3.3.1 数据分析
3.3.2 任务分配
3.3.3 失效容错
3.4 性能要求
3.5 本章小结
第四章 分布式业务性能采集与海量数据分析系统的设计与实现
4.1 系统总体架构
4.2 系统服务层次
4.3 海量测量数据统计分析功能的设计与实现
4.3.1 性能评价方法
4.3.2 海量测量数据统计分析功能的设计
4.3.3 海量测量数据统计分析模块的实现
4.4 任务分配机制的设计与实现
4.4.1 数据分析器管理机制的设计与实现
4.4.2 数据分析器选择机制的设计与实现
4.5 节点失效容错机制的设计与实现
4.5.1 数据分析器节点失效容错机制的设计与实现
4.5.2 负载均衡器失效容错机制的设计与实现
4.5.3 集中管理平台失效容错机制的设计与实现
4.6 本章小结
第五章 测试与分析
5.1 测试环境
5.1.1 系统开发工具
5.1.2 系统硬件配置
5.1.3 实验环境
5.2 海量测量数据统计分析功能的测试与分析
5.2.1 功能测试
5.2.2 性能测试
5.3 任务分配机制测试与分析
5.3.1 数据分析器管理机制测试
5.3.2 数据分析器选择机制测试
5.4 节点失效容错机制的测试与分析
5.5 本章小结
第六章 总结和展望
6.1 本文总结
6.2 未来工作展望
6.3 研究生期间工作
6.3.1 发表论文
6.3.2 参与项目
6.3.3 主要负责的工作
6.3.4 提交文档
参考文献
致谢
攻读学位期间发表的学术论文目录
【参考文献】：
期刊论文
[1]基于Eucalyptus构建私有云计算平台[J]. 张帆,李磊,杨成胡,陈丽珍. 电信科学. 2011(11)
[2]基于Hadoop架构的分布式计算和存储技术及其应用[J]. 田秀霞,周耀君,毕忠勤,彭源. 上海电力学院学报. 2011(01)
[3]IPTV测试仪媒体流传送指标（MDI）监测子系统的FPGA实现[J]. 任波,雒江涛,滕欢. 内江师范学院学报. 2011(02)
[4]云计算的核心技术——粒度计算[J]. 杨秋杰. 信息安全与技术. 2010(08)
[5]云计算开源先锋Hadoop——第四届Hadoop中国云计算大会纪实[J]. 董世晓. 程序员. 2010(10)
[6]基于Hadoop的网络日志分析系统研究[J]. 胡光民,周亮,柯立新. 电脑知识与技术. 2010(22)
[7]单向时延测量中的时间同步问题[J]. 聂玉婷,高仲合. 通信技术. 2009(10)
[8]云计算及其关键技术[J]. 陈全,邓倩妮. 计算机应用. 2009(09)
[9]基于测量的网络性能评价方法研究[J]. 张冬艳,胡铭曾,张宏莉. 通信学报. 2006(10)
[10]基于Web Service的大规模网络测量平台的研究与实现[J]. 孙小宁,康建初. 计算机工程与应用. 2003(12)
硕士论文
[1]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
本文编号：3474336
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：75 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一节 绪论
1.1 选题背景及意义
1.2 主要研究工作及贡献
1.3 论文组织结构
第二章 相关技术背景介绍
2.1 云计算简介
2.1.1 什么是云计算
2.1.2 Hadoop云计算框架
2.2 网络测量相关研究现状
2.3 网络性能指标简介
2.3.1 基础网络性能指标简介
2.3.2 网络所承载业务性能指标简介
2.4 网络性能评价方法简介
第三章 分布式业务性能采集与海量数据分析系统需求分析
3.1 需求分析
3.2 设计原则
3.3 系统功能划分
3.3.1 数据分析
3.3.2 任务分配
3.3.3 失效容错
3.4 性能要求
3.5 本章小结
第四章 分布式业务性能采集与海量数据分析系统的设计与实现
4.1 系统总体架构
4.2 系统服务层次
4.3 海量测量数据统计分析功能的设计与实现
4.3.1 性能评价方法
4.3.2 海量测量数据统计分析功能的设计
4.3.3 海量测量数据统计分析模块的实现
4.4 任务分配机制的设计与实现
4.4.1 数据分析器管理机制的设计与实现
4.4.2 数据分析器选择机制的设计与实现
4.5 节点失效容错机制的设计与实现
4.5.1 数据分析器节点失效容错机制的设计与实现
4.5.2 负载均衡器失效容错机制的设计与实现
4.5.3 集中管理平台失效容错机制的设计与实现
4.6 本章小结
第五章 测试与分析
5.1 测试环境
5.1.1 系统开发工具
5.1.2 系统硬件配置
5.1.3 实验环境
5.2 海量测量数据统计分析功能的测试与分析
5.2.1 功能测试
5.2.2 性能测试
5.3 任务分配机制测试与分析
5.3.1 数据分析器管理机制测试
5.3.2 数据分析器选择机制测试
5.4 节点失效容错机制的测试与分析
5.5 本章小结
第六章 总结和展望
6.1 本文总结
6.2 未来工作展望
6.3 研究生期间工作
6.3.1 发表论文
6.3.2 参与项目
6.3.3 主要负责的工作
6.3.4 提交文档
参考文献
致谢
攻读学位期间发表的学术论文目录
【参考文献】：
期刊论文
[1]基于Eucalyptus构建私有云计算平台[J]. 张帆,李磊,杨成胡,陈丽珍. 电信科学. 2011(11)
[2]基于Hadoop架构的分布式计算和存储技术及其应用[J]. 田秀霞,周耀君,毕忠勤,彭源. 上海电力学院学报. 2011(01)
[3]IPTV测试仪媒体流传送指标（MDI）监测子系统的FPGA实现[J]. 任波,雒江涛,滕欢. 内江师范学院学报. 2011(02)
[4]云计算的核心技术——粒度计算[J]. 杨秋杰. 信息安全与技术. 2010(08)
[5]云计算开源先锋Hadoop——第四届Hadoop中国云计算大会纪实[J]. 董世晓. 程序员. 2010(10)
[6]基于Hadoop的网络日志分析系统研究[J]. 胡光民,周亮,柯立新. 电脑知识与技术. 2010(22)
[7]单向时延测量中的时间同步问题[J]. 聂玉婷,高仲合. 通信技术. 2009(10)
[8]云计算及其关键技术[J]. 陈全,邓倩妮. 计算机应用. 2009(09)
[9]基于测量的网络性能评价方法研究[J]. 张冬艳,胡铭曾,张宏莉. 通信学报. 2006(10)
[10]基于Web Service的大规模网络测量平台的研究与实现[J]. 孙小宁,康建初. 计算机工程与应用. 2003(12)
硕士论文
[1]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
本文编号：3474336
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3474336.html
最近更新
教材专著
