云下载系统的理论模型与存储资源分配算法研究

发布时间：2020-08-24 16:18

【摘要】：文件分发系统是互联网重要的信息传播平台。云计算的出现和云技术的迅猛发展,促成了云下载系统的出现并迅速成为关注的焦点。云下载系统可以提供预约式文件分发服务,用户提出下载请求之后可以离线甚至关机,而不需要一直保持在线,由此节省了大量用户时间；云下载系统可以根据用户需求,按需租用云平台提供的计算、存储和带宽等资源来获取、缓存和向用户返回预约的文件,保证用户文件可用性和取回文件的速率。 预约式服务与云平台的结合,赋予了云下载系统以下新特点：增加了系统与用户的交互形式；系统可以统计不同用户的文件预约请求复用文件,减少系统资源开销；系统如何租用和管理云资源,是提高文件分发效率和降低服务成本的关键。但是,现有云下载系统的资源分配策略缺乏对预约式下载服务的深度考虑,会导致存储资源浪费、用户间服务不公平、资源开销大等问题。 本文针对这些问题,以云下载系统新特点作为视角,建立了相关理论模型,并设计了优化的资源分配策略,主要工作和创新点如下： (1)针对预约式服务交互过程,本文建立了系统交互模型,从理论上刻画了采用预约式服务的云下载系统运行机制,并提出了系统响应策略(何时通知用户、何时开始获取文件)。首先,分析单个用户下载过程,建立了交互模型量化交互过程中的各时间元素及其关系,并由模型理论分析,推导出用户时间开销和系统存储时间开销。其次,建立了最小化这两个时间开销的多目标优化问题,并分别求解得到最优化用户体验和最小化系统存储开销的系统响应策略。最后,由多目标优化问题的求解得到用户时间开销与系统存储时间开销之间是折中的关系,在此基础上提出了在满足用户服务质量需求的条件下最小化系统存储开销的系统响应策略。 (2)针对驱动用户与系统合作的激励问题,本文设计了适用于多用户场景的用户合作激励机制,通过对同一个文件的多个预约请求的汇聚和连续服务实现文件的高效复用。首先,建立了多用户请求云下载的多用户模型,获得不同文件复用情况下的系统服务成本。其次,在用户无私和用户自私两种情况下,分析用户与系统的收益。并针对这两种用户提出了根据用户等待时间和报价提供差分服务的合作机制。最后,通过仿真和理论分析证明了这些机制有效降低了系统获取文件和缓存文件的开销,保证了用户服务的公平性。 (3)针对已有的云缓存分配算法没有考虑预约式服务特点的问题,本文提出了存储容量模型,定量地给出了系统需要的云缓存量(即云存储需求下限)。首先,通过对云下载系统中云缓存设计面临问题的深入分析,揭示了用户删除行为与文件有效期是影响系统云缓存占用量的关键因素。其次,通过大规模数据分析和挖掘,发现了云缓存的存储特性(如用户请求数与缓存文件数的关系等)和用户删除文件的规律。最后,建立了存储容量模型。该模型公式化地表示了请求数、文件有效期与系统云缓存量的关系,为云缓存容量规划和文件有效期设计提供了理论依据。与基于真实数据的仿真值进行比较,模型预估的云缓存需求量误差在10%以内。 (4)针对云下载系统中存储资源开销和计算资源开销之间的关系,本文在云存储需求下限的基础上建立了系统资源开销模型,提出了云缓存内容管理算法。对大规模商业云下载系统的实际运营数据进行分析,得到系统资源开销模型中的关键参数。由该模型求解获得的云缓存租用量,在满足系统的需求的条件下使云存储和计算资源的开销总和最小。然后,对大规模真实系统中的用户行为数据进.行分析,得到了用户取回行为的特征。在此基础上,提出了一种云缓存内容管理算法(F-LRU)。最后,通过大规模实际数据驱动的仿真试验,结果显示了F-LRU算法的命中率和比特命中率都高于LRU、SIZE算法。
【学位授予单位】：北京交通大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP333
【图文】：

图1-2预约式服务的交互示意图相对于即时型文件分发系统，云下载系统有如下新特点：(1)预约式服务的云下载系统，改变了系统与用户的交互形式。即时，用户请求时刻、系统通知用户取回和用户实际取回文件的时刻是一致

基于laaS云服务架构，云应用利用云服务平台的云资源为用户提供服务，典型结构如图5-1所示。云平台通常由架构服务提供商搭建，由大量互联的计算和存储服务器构成，为各个云应用提供资源池。而云应用提供者需计划一个长期的预订合同，向架构服务提供商租用其服务所需的资源，如计算、存储、带宽或虚拟机等。/ 急户 A用户 B■zj应用2 Q用户c图5-1云应用的典型架构在云下载系统中，系统需要利用云存储资源来构建云缓存，为用户保留文件以保障文件可用性。而当用户请求的文件不存在于云缓存中时，系统必须调度计算资源处理和获取文件。故云下载系统云缓存部署决定和影响的资源开销，包括云缓存开销的云存储资源和获取文件开销的云计算资源。由于云缓存的数据可以重用：当用户请求的文件已存在云缓存中时，云下载系统不需要再次获取文件。则系统云缓存可缓存的文件越多

的请求为观察对象，当存储不同数量的历史文件时（时间上从观察天往前），观察该天请求的文件中已存在于缓存的比例，结果如图5-2所示。0.8 fi: r 1■ aes】 伊 月 1 日，N=314132 1k

本文编号：2802682