基于云计算的流数据集成与服务

发布时间：2020-02-07 11:24

【摘要】：当前,大数据的管理和处理是云基础设施的重点用武之地,而服务是落实云计算环境中各类资源及能力交付和使用模式的主要方式.随着感知设备的普及,系统规模急剧扩张,数据多元异构复杂性提升,流数据并发数量及速度剧增,传统的流数据系统在处理能力、可扩展性、容错性等方面面临瓶颈问题,而云计算技术依靠其良好的可伸缩性、数据的并行化处理能力、对服务使用模式的支持、容错性等特点,可作为流数据管理与处理的基础.基于云计算对来自不同类型设备的大规模流数据进行集成、处理及服务化正是文中关注的焦点所在.从应用需求出发,该文对大规模流数据集成和实时处理及服务的概念框架、集成方法、流数据查询处理、定制化服务、可伸缩性保障和可靠性保障以及相关评测基准等要点进行了剖析,归纳了大规模流数据的集成与服务研究面临的挑战,探讨了云计算环境下求解相关问题的思路.
【图文】：

传统数据库,查询操作,引擎

据处理引擎以及传统数据库，对外提供基于结构化查询语言的声明式查询接口和共用的ＡＰＩ．ＭａｘＳｔｒｅａｍ的实现原理如图３所示，在客户端和关系数据库、流处理引擎之间增加了联邦层，联邦层对流数据连续查询请求进行解析、查询结果进行转换，数据代理则负责所有控制消息的交换以及数据的转发．ＭａｘＳｔｒｅａｍ可适用于跨组织和地域的分布式计算环境中，但在云计算环境下，如何针对动态变化的负载，对跨流处理引擎和传统数据库的连续查询进行功能及非功能属性方面的优化，还有待进一步的研究．图３ＭａｘＳｔｒｅａｍ：流处理引擎与传统数据库的集成［２３］３．２基于云计算的流数据查询操作流数据查询操作是实现定制化服务的基础，其相关工作可以分为两个方面．一方面是单个查询操作的实现及优化，例如连接查询、聚集查询等操作的实现及优化；另一方面是互相连接的多个流数据操作算子的执行及优化．针对包含多个流数据操作算子的优化方法，文献［２４］进行了总结，如算子重新排序、算子去重等优化方法，本文不进行赘述．与传统数据库一样，流数据的基本查询操作也可分为选择、投影、连接（ｊｏｉｎ）和聚集（ａｇｇｒｅｇａｔｉｏｎ）等操作．其中，选择和投影操作相对简单，而连接操作和聚集操作是两种较复杂、耗时的查询操作．在传统数据库研１１２计算机学报２０１７年

示意图,算子,计算环境,算法

ｉｎｇ［５０］、ＳＥＥＰ［５９］、ＣｈｒｏｎｏＳｔｒｅａｍ［６０］、Ｓａｍｚａ⑤以及ＴｉｍｅＳｔｒｅａｍ［６１］等都建立在可动态管理和扩展节点的云基础设施之上．算子放置技术与数据并行化处理技术是保障基于云计算的流数据服务可伸缩性的关键技术，其中，数据并行化被认为是基于云计算的流数据处理系统的主要特征［１３］．下面结合学术界及工业界的实际系统及研究对其进行分析．流数据处理ＤＡＧ中的逻辑算子可能根据其资源的需求情况部署在多个节点上，图５是一个云计算环境下处理任务（算子）的部署示意图，其中一个虚拟节点上可注册多个资源容器，一个逻辑算子可部署到多个资源容器中．图中虚线框中的逻辑算子ｖ６部署在多个虚拟机节点ｎ１和ｎ２中．针对由多个处理任务（算子）组成的流数据处理网络，在云计算环境下，随着计算节点的增加，主要通过在多个节点上平衡算子的分布来提供伸缩性，其关键问题是如何进行算子的放置（或布局），以及如何在不同的节点上进行负载均衡．这就是“算子放置（ｏｐｅｒａｔｏｒｐｌａｃｅｍｅｎｔ）”问题．算子放置问题是指将处理任务的一系列算子布局在一系列的节点上执行，并在满足一定约束条件的情况下达到优化目标．图５云计算环境中算子的部署［６０］Ｌａｋｓｈｍａｎａｎ等人［６２］将现有的算子放置算法从体系结构、算法结构、优化目标、算子层次上的操作、动态重配置等５个维度进行了分析和比较．在体系结构上，分为主从式、分散式以及二者混合等情况，，当前，大多数云环境下的流数据处理系统或中间件１１６计算机学报２０１

【相似文献】