支持云雾端应用集成的资源调度策略及其优化技术

发布时间：2020-06-27 04:55

【摘要】：过去十年来,云计算技术使得数据中心大规模扩大,平台资源利用率低下问题逐渐凸显并受到学术界和工业界的广泛关注。如何有效地提升资源利用率,提高平台吞吐成为了云计算产业持续发展的关键问题。同时,随着物联网技术的发展以及智能移动终端设备数量的与日俱增,移动应用终端所具有的环境不稳定性、任务实时性以及需求多样化等特点,给传统云计算技术提出了更严峻的挑战。作为一种新兴服务模式,雾计算以其具有的上下文感知分布式计算、低任务响应时延和高服务质量等特点,有效弥补了传统云计算技术的不足。尽管云计算技术与雾计算技术在相应的领域都取得了丰富的研究成果,但数据资源的分散性、服务质量的不确定性和用户应用需求的多元化等因素,为实现高效可靠的计算服务带来了新的挑战。譬如,目前的研究中,缺乏一个云雾端应用集成的一致性资源调度优化框架;针对云环境中网络数据流在传输过程出现的性能瓶颈问题,需要更为有效的网络抽象与相应的资源调度方法等。针对目前云雾端应用集成下计算服务在移动感知、资源调度一致性优化等方面面临的挑战,本文对支持云雾端应用集成的资源调度策略及其优化技术开展了相关的研究工作。具体而言,本文的研究工作主要包括以下几个方面:(1)为有效解决云雾环境在服务用户过程中资源分散、分配不平衡问题,本文提出了一个支持云雾端应用集成的资源调度一致性优化框架以实现资源的有效整合、优化。该资源调度框架依托软件定义网络与网络功能虚拟化技术作资源整合,并以分布式计算服务架构为基础,集计算服务的请求响应、计算服务的分配以及计算服务的执行优化模块于一体。系统架构上,该框架自下而上分为三个层次:终端接入层、雾计算层以及云计算层。终端接入层通过统一计算服务接口汇总来自用户的计算服务请求,实现有线用户和无线用户的服务一致性接入。雾计算层将基于云的服务拓展到网络边缘,根据用户实际的计算服务需求选择服务提供的渠道。雾计算层用于负责响应时间敏感的应用,提供移动感知的资源优化调度。云计算层则主要负责来自雾计算层转接的大数据作业,并在传统大规模并行处理数据框架的基础上,对存储资源和计算资源需求突出的任务集合,进行有效资源调度。(2)为有效解决云环境下大数据作业执行过程中网络资源利用率低的问题,本文提出一种云环境下时限感知的网络资源调度优化方法。云环境下大数据分析作业处理过程中的网络数据流传输,是大数据分析过程的应用瓶颈。围绕这一应用场景,本文首先分析网络数据流的产生过程,引入了协同网络流(Coflow),用于描述大数据作业中网络数据流之间的语义联系。基于Coflow的应用抽象,提出了网络数据流的放置约束。进而以平衡网络负载的思想设计了大数据作业的Coflow生成过程。通过考虑计算节点的带宽分配策略对大数据作业完成时间的影响,进一步确定每个计算节点在处理从属大数据作业的网络数据流传输上的优先级,从而缩短了尤其是时限敏感的作业平均完成时间,并提高了云平台的作业吞吐率。(3)为有效解决雾计算平台在处理多用户计算服务请求时面临的资源分配不均衡问题,本文以提高系统资源利用率为目标,提出一种面向平台的满足任务依赖约束的资源调度优化方法。具体而言,通过分析多用户计算服务请求的“时空”信息以及服务平台节点配置的异构性,本文针对计算任务的服务节点,引入相应的放置约束,并考虑计算任务间的执行依赖约束,对计算任务的调度问题进行了建模分析。本文利用“作业松弛时间”去量化多用户雾计算平台中的系统资源利用率指标。基于此指标,我们将提高系统资源率的问题转化为全局作业松弛时间的优化问题。鉴于其NP-Hard属性,本文分别给出了具有理论依据的基于二值松弛技术的Offline调度算法以及结合表调度法的Online调度算法。实验结果表明,我们提出的算法可以减少计算服务响应时间,提升系统资源利用率。(4)为有效提高雾计算环境下服务节点满足移动用户在安全、高效应用需求方面的能力,本文引入区块链技术,对地理分散的雾计算服务节点进行安全管理,为用户提供实时安全的计算分流服务技术支撑。在此基础上,提出了一种移动感知的计算分流方法BMO(Blockchain-based Mobility-awareOffloading)用于任务的计算分流调度。技术上而言,BMO将用户的移动特性分为有路径约束和无路径约束两类应用模式。针对有路径约束的移动方式,BMO方法首先针对服务节点的计算覆盖范围,构建相应的R-树索引,并根据任务的时限条件,结合移动用户的轨迹预测和服务开销,进行计算分流服务节点的筛选。针对无路径约束的移动方式,BMO方法通过引入个体移动模型,对移动用户在计算分流服务范围内的停留时间进行预测,并根据任务的时限条件以及服务开销,对可用服务节点进行优化选择。BMO方法不仅能够通过计算分流技术满足计算任务的时限要求,还能通过优化选择有效的分流服务节点,减少任务的计算分流服务开销。
【学位授予单位】：南京大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP393.09
【图文】：

模式图,计算服务,模式,数据消费者

，计算技术在工业界的广泛使用，目前的ＩＴ消费者己经逐步由传统商业模式硬件设施和软件产品的方式转变为通过互联网向云服务提供商租赁资源，并进行付费的方式。逡逑—结果逡逑数据制造者逦云数据中心逦数据消费者逡逑图１－１云计算模型逡逑丨－１展示了传统的云计算服务模型［ｕ］。数据制造者会产生原始数据上传至云消费者向云平台发起计算请求用于消化这部分原始数据。云平台进行相应的算结果返回至数据消费者进行利用。在实际中，企业级用户常常扮演数据制集来的大量原始数据托管至云数据平台，并通过向云服务提供商租赁其计算数据进行分析，这个分析结果则用于支撑其应对来自作为数据消费者的个体。可以说，云计算不仅是一种新的计算模型，同时也因其资源的供应特征而的共享基础架构，是共享经济的产物ｎ３１Ｍ４１。逡逑基础设施即服务逦平台即服务逦软件即服务逡逑

计算模型,边缘设备

第一章绪论移动用户较近的位置，并强调与将物联网设备产生的数据传递到云端在网络边缘被处理更为高效。逡逑描述了边缘计算模型Ｍ。与传统云计算模型不同，边缘设备不再仅仅同时具备了数据生产者和消费者两个身份。边缘计算中的终端设备与应是双向的。意味着，边缘设备既能向云数据中心平台发出计算请求，下发的计算任务［１２］［２９］。逡逑

【相似文献】