云计算下针对大数据的大规模任务处理关键问题研究

发布时间：2021-01-19 08:18

　　随着当前数据规模与种类的日益增长,大数据分析处理问题已经成为研究热点。在当今信息化与数字化社会中,互联网、物联网与云计算技术的迅猛发展使得数据充斥于各领域并成为一种全新的自然资源。人们需要对这些数据进行合理高效地利用来发掘其中具有一定价值的信息,从而提高生活工作效益。如今各领域数据量急剧增加同时数据结构趋于复杂化,使得大数据分析处理问题面临诸多挑战。大数据对数据处理的大规模性、实时性以及有效性提出了更高要求,这就需要根据大数据所具备诸多特性对传统数据分析处理的方法与模式进行变革,从而实现高效的大数据收集、存储、管理、分析以及处理等重要环节。近年来云计算技术的兴起与卓越发展为大数据分析处理提供了重要支持与保障。云计算弹性可扩展等特性有利于多用户共享、大数据存储以及大数据处理。大数据处理一般处理过程中的数据采集、数据预处理、数据分析与挖掘在当前云计算基础之上能够顺利实现。来自用户的源源不断且种类繁多的数据处理任务使得云计算下针对大数据的大规模任务处理问题逐渐成为大数据分析处理中的重要问题之一。云计算下针对大数据的大规模任务处理问题研究包含基础层面任务划分、部署与调度,以及应用层面与任务相关... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：98 页

【学位级别】：博士

【部分图文】：

将大规模任务部署到多域环境下各物理主机中

图 3.2 LTBM的逻辑架构TBM 的主要思想基于单域的方法大多存在处理能力、资源位置和类型等方面的局限构应用于大规模任务处理中，基于多域协作的系统架构，本章所提实现节点负载均衡和域间通信带宽资源成本最小化的多目标组合优任务处理。通过多域的协同工作，它实现了所提出的大规模任务处络映射，海量的任务可以快速有效地处理。LTBM 算法是一种基于优化方法。为实现多目标优化，基于帕累托理论，LTBM 可对粒子新，从而通过粒子进化找到多目标问题的帕累托最优解。往的单目标粒子群算法不同，LTBM 采用了一种新颖的初始种群生代过程中，基于帕累托支配理论实现可行解之间的比较。本章提出域环境下最优虚拟网络映射方案集的方法。基于一种快速非支配选

图 3.3 可行解拥挤程度的计算环操作搜寻最优解。们通过如下公式更新各个粒子速度：1 2w ′ Vel[ i ] + r ′ ( pBest[ i ] - Pop[ i ]) + r ′ ( gBest - P权重。Vel[i]和 Pop[i]分别是空间中第 i 个粒子子，且是从 0 到 1 的正数。pBest[i]和 gBest 分置向量。以下公式更新粒子的位置：Pop '[i ] = Pop[ i ] + Vel [i ].索空间边界粒子进行处理。本章将超出其边界将当前粒子速度乘以-1 以实现反向运动。中粒子。更新全局最优位置向量以及个人历史率最大化的前提下，根据本章提出的快速非支

【参考文献】：
期刊论文
[1]云环境下的一种并行任务划分方法研究[J]. 牛伟伟,张千.  计算机时代. 2014(06)
[2]快速降阶匈牙利算法的云计算任务分配模型[J]. 任金霞,何富江.  江西理工大学学报. 2014(03)
[3]架构大数据:挑战、现状与展望[J]. 王珊,王会举,覃雄派,周烜.  计算机学报. 2011(10)
[4]云计算环境下面向数据密集型应用的数据布局策略与方法[J]. 郑湃,崔立真,王海洋,徐猛.  计算机学报. 2010(08)



本文编号：2986660