基于云计算的海量并发数据处理关键技术研究

发布时间：2022-02-13 21:29

　　随着云计算技术的飞速发展,互联网用户越来越多,在网络上的交易量不断增加,网络数据呈现指数增长,网络上出现的海量数据急需处理。用传统数据处理技术对海量数据处理,会出现并发性差和效率低等问题。本文一方面研究了负载均衡,并对加权轮询算法进行改进,根据服务器的运行状态动态的计算权值。经过对加权轮询算法的改进,算法在响应时间、吞吐量和实际并发量方面都有提高。另一方面提出了海量小文件数据存储的解决方案,该方案在HDFS中增加独立的小文件数据存储模块,通过小文件合并、建立索引和数据缓存,提高HDFS对海量小文件数据存储的效率,并且HDFS的扩展性不受影响。在理论研究的基础之上,通过负载测试工具LoadRunner仿真实验,验证了改进的加权轮询算法在一定程度上能够提高算法性能。通过对元数据节点内存消耗和小文件读写效率实验测试,改进的HDFS效果更好,对以后海量小文件存储的研究有一定的指导意义。 

【文章来源】：长春理工大学吉林省

【文章页数】：53 页

【学位级别】：硕士

【部分图文】：

系统响应时间图

系统吞吐量图

系统实际并发数图

【参考文献】：
期刊论文
[1]基于MapFile的HDFS小文件存取优化[J]. 段隆振,洪新利,邱桃荣.  南昌大学学报(工科版). 2017(02)
[2]云数据中心资源利用率均衡的虚拟机调度算法[J]. 朱亚会,陈丹,庄毅.  小型微型计算机系统. 2017(02)
[3]海量教育资源中小文件的存储研究[J]. 游小容,曹晟.  计算机科学. 2015(10)
[4]基于负载均衡的任务调度算法[J]. 张腊,刘淑芬,韩璐.  吉林大学学报(理学版). 2014(04)
[5]一种结合RDBMS和Hadoop的海量小文件存储方法[J]. 刘小俊,徐正全,潘少明.  武汉大学学报(信息科学版). 2013(01)
[6]基于MapFile的HDFS小文件存储效率问题[J]. 洪旭升,林世平.  计算机系统应用. 2012(11)
[7]基于MapReduce的蚁群算法[J]. 吴昊,倪志伟,王会颖.  计算机集成制造系统. 2012(07)
[8]基于Hadoop的海量MP3文件存储架构[J]. 赵晓永,杨扬,孙莉莉,陈宇.  计算机应用. 2012(06)
[9]一种云数据中心资源的动态综合负载均衡调度算法(英文)[J]. 田文洪,赵勇,仲元椋,徐敏贤,景晨.  中国通信. 2011(06)

硕士论文
[1]云计算中一种基于数据相关性的负载均衡技术的研究与实现[D]. 邵贵林.江苏大学 2017
[2]基于Nginx高并发Web服务器的改进与实现[D]. 张尧.吉林大学 2016
[3]基于HDFS的海量小文件处理性能的研究与优化[D]. 张荣.电子科技大学 2016
[4]基于Nginx高性能Web服务器性能优化与负载均衡的改进与实现[D]. 王永辉.电子科技大学 2015
[5]基于动态反馈的加权最小连接数服务器负载均衡算法研究[D]. 张慧芳.华东理工大学 2013
[6]基于HDFS的小文件处理与相关MapReduce计算模型性能的优化与改进[D]. 蔡睿诚.吉林大学 2012
[7]Web集群服务器的负载均衡和性能优化[D]. 胡利军.北京邮电大学 2010
[8]云计算中的网络拓扑设计和Hadoop平台研究[D]. 邓自立.中国科学技术大学 2009



本文编号：3623951