面向自组织移动云的存储架构关键技术研究

发布时间：2020-06-10 08:34

【摘要】：随着移动互联网、物联网等新兴领域的蓬勃发展,人类社会正逐步从大数据时代向移动大数据时代演进。据统计,全球移动手机占有率预计2020年达到28亿,随之产生的移动数据规模以每年53%的速度指数增长,移动数据在全球数据总量中所占比重逐年上升,将逐渐成为大数据的主体。为缓解快速增长的移动数据规模与有限的移动设备硬件资源之间的矛盾,业界近年开始研究如何将多台移动设备随时随地自组织成为移动云,以实现端侧处理海量移动数据的目标,这一模式称之为自组织移动云(Ad-Hoc Mobile Cloud)。数据的合理存储和科学管理是保障自组织移动云QoS的基础,遗憾的是,目前关于移动云存储架构的研究尚处于起步阶段,相关工作主要基于传统云存储技术展开,无法充分利用移动端复杂的软硬件环境特征。这些特征主要包括:(1)移动设备硬件环境与传统服务器存在较大差异,例如闪存介质对随机读写的更好支持、无线通信带宽远低于有线网络等;(2)移动数据多呈结构化或半结构化,且具有离散分布(Scattering)、规模效应(Scale-effect)、高安全性(Security)的特点;(3)用户需求发生了深刻变化,移动用户对交互实时性提出了更高要求,且更加关注数据存储的安全隐私。本文深入分析了自组织移动云的场景特征,在此基础上提出了更为“高效”和“安全”的存储架构。文章的主要工作和贡献如下:1.基于移动设备的Hadoop移植与配置优化做为研究工作的第一步,本文实现了基于移动设备的Hadoop框架移植。部署过程中发现,移植到移动平台的云框架表现出严重的水土不服,性能方面受到很大影响。为此,本文设计提出了一套面向Hadoop移植的优化策略,通过神经网络技术挖掘配置参数与移动端软硬件环境间的内在关联,有效提高了系统工作效率。本部分工作的意义在于:首先,发现并实践了传统云架构到移动端的移植部署方法,为进一步研究打下基础;其次,通过大量实验,我们对移动端数据存储的性能表现和瓶颈所在有了更深入的了解;最后,测试和分析结果证明,面对分布式移动场景全新的硬件架构和软件环境,以Hadoop文件系统为代表的传统云存储架构在设计上存在不足,无法实现移动云高效、安全存储的目标。2.基于自组织移动集群的分布式键值存储系统移动数据往往呈结构化、半结构化特点,分布式文件系统架构对此类数据的存储管理仍有不足。本文在前一部分工作的基础上,设计提出了面向自组织移动集群的轻量级分布式键值存储系统LKSM。系统基于LSM-Tree索引结构实现,并维护了全新的数据结构:弹性内存槽,在两组件的紧密配合与协调工作下,LKSM有效缓解了闪存的写敏感和I/O放大问题,同时大幅提高了数据存储性能。实验表明,相较LevelDB存储架构,LKSM在移动端具有更大优势(数据规模512MB时,读、写时间仅为LeveIDB的30.12%和36.16%)。3.基于属性命名空间树的数据存储安全模型以往研究工作主要关注存储架构的高效性,然而移动数据与个人隐私息息相关,因此用户对自组织移动云提出了更高的安全性需求。本文从用户层、逻辑层、物理层三个层面剖析了分布式存储架构,发现了其中存在的安全隐患,进而提出了一套基于属性命名空间树的数据存储安全模型ANDS。通过引入命名空间属性管理机制,ANDS以权限访问控制和数据加密的方式实现了元数据与内容数据的双重防护。在此基础上,本文提出了块粒度的代理重加密策略,结合分布式存储以块为单位的特点,我们利用多设备同步重加密的方式有效缓解了安全保护带来的性能开销。4.基于自相似原理的大规模边缘设备负载均衡策略少数移动设备在局域网内自行组建网络是易于管理的,然而移动设备的持有量远超PC机,因此移动集群规模的增长潜力远大于传统云平台。随着SDN和NFV等技术的发展,广义的边缘设备规模更为庞大。因此,如何有效管理大规模移动云集群成为了亟待解决的一项关键性问题。本文提出了基于自相似原理的负载均衡策略,并针对通信负载问题设计了任务分发算法Task Distributing和任务抓取算法Task Grasping,为大规模设备的资源管理提供了一套有效的解决方案。本文通过理论分析和模拟仿真验证了 SSLB在大规模边缘设备管理中的性能优势。
【图文】：

移动数据,研究现状,处理模式,自组织

虽然其中蕴含巨大价值，但用户对这些数据的安全隐私更加敏感。逡逑在数据特征发生变化之外，移动数据在全球数据总量中所占比重也在逐年逡逑上升。据统计，全球移动手机占有率预计在２０２０年达到２８亿，如图１．１所示，随逡逑之产生的移动数据规模以每年５３％的速度指数增长将逐渐成为全球数据的逡逑主体。这些数据来源广泛，既来自于终端传感器，如摄像头、陀螺仪、ＧＰＳ，又逡逑来自于用户级软件，如Ｆａｃｅｂｏｏｋ、Ｓｋｙｐｅ、微信、微博，同时又有大量数据来自逡逑于系统日志和移动互联网。遗憾的是，移动设备的硬件资源，包括存储和计算能逡逑力，均不足以充分挖掘移动数据所蕴涵的巨大价值。例如，智能手机ｉｐｈｏｎｅ邋７的逡逑处理器主频仅首次超越２ＧＨｚ，存储空间最大２５６ＧＢ，邋２０１８年最新发布的高配版逡逑本Ｈｕａｗｅｉ邋Ｍａｔｅ邋ＲＳ存储空间也仅５１２ＧＢ。逡逑为缓解有限的移动设备硬件资源与快速增长的移动数据规模之间的矛盾，业逡逑界开始考虑利用传统云平台的资源为移动设备松绑。例如

示意图,示意图,移动设备,边缘设备

图１．３文中各项工作间的关系示意图逡逑１．３论文组织结构逡逑本文共包括七章，首先介绍当前自组织移动云的研究背景和意义，并提出本逡逑课题的研究内容；然后对分布式存储架构和数据安全相关工作进行了分析和总逡逑结，并在此基础上引入本文的研究方法；接着我们分析了传统架构在移动设备上逡逑的缺陷并提出了优化方法，并结合移动设备和移动数据的软硬件特征设计提出逡逑了更高效的存储架构；在此基础上，，我们提出了数据存储的安全模型，以较低的逡逑性能开销保障了数据的安全；最后，我们将研究范围由移动设备扩展到更广泛的逡逑边缘设备，解决了大规模边缘设备管理的瓶颈问题。相关理论分析和测试实验证逡逑明了我们工作的有效性。论文组织结构如下：逡逑１．第一章，绪论。本章首先介绍当前大数据处理的研究现状和移动互联网发逡逑展带来的全新挑战，通过剖析已有移动数据处理方案的局限性引入本文工逡逑
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP333

【相似文献】