云计算和雾计算中自适应虚拟机调度算法
发布时间：2021-10-28 20:41
云数据中心具有存储容量大、计算能力强等特点,众多大数据分析、云盘等高计算量、高存储需求的任务都被提交到云数据中心中进行处理,由此使得云计算成为一种备受瞩目的计算模式。但云计算需要将数据发往远端的云数据中心进行处理,具有较大的延迟,不适宜延迟敏感的应用进行处理。因而在此之外又提出了雾计算的模式,在远端的云数据中心和终端设备之间引入中间雾层,部署本地化的计算和存储资源,为延迟敏感的应用提供服务。不论是云计算还是雾计算,服务提供商希望借助于虚拟化技术与调度策略得到更好的效益。而现有的调度算法主要基于云计算提出,而且这里面大部分的算法存在对于任务分布的假设,无法自适应地根据实际的使用情况进行调整。因此,在本文中将针对云计算和雾计算的特点,通过强化学习为代表的机器学习算法设计自适应的虚拟机调度方案,以达到最大化效益的目的。相比于前人的工作,我们的主要贡献如下:1、我们结合当前已经提出的云计算和雾计算中的虚拟机调度算法,对于当前云计算和雾计算的特点进行研究,并基于各自在效益上的特点制定云计算和雾计算调度的目标函数;2、我们有别于传统的装箱问题建模,也有别于传统的基于分布假设的机器学习算法的解决方案...
【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
雾计算架构图
上海交通大学硕士学位论文-4-务往往具有着不同的资源需求量分布与不同的任务处理延迟的要求[19]。而这两者之间是相关的，如果云服务提供商如果不能满足用户任务的资源请求情况，势必会加大任务的延迟情况，降低云服务的质量。而对于云服务提供商来说，对于客户的服务质量要求的满足情况会直接影响用户的满意程度，进而对于云服务提供商的商业未来带来重大影响[20]。图1-2虚拟机的资源需求情况Fig.1-2Resourcerequirementsofvirtualmachines但是一味满足用户的需求对于云服务提供商来说并不是最好的商业策略。在按需租用的大背景下，一般用户会指定租用的配置（如：CPU、内存等配置）与租用的时间。在这段租用的时间内，用户可以将自己的任务上传到云数据中心，由云数据中心划出相关的资源进行处理。但很多时候用户的任务并不需要这么多的资源，从而这造成了云数据中心资源极大的浪费[21]。图1-2中展示了由CoMon项目[22]采集得到的2011年3月的某一天下超过1000个装载有任务的虚拟机不同时刻对于服务器的资源需求情况，并将资源的占用率分成了10%以下、10%~20%、20%~30%、30%~40%、40%~50%与50%以上六级用饼图的方式进行了统计。而在图1-3中则展示了其中随机挑选的5个任务随任务的执行进度对于服务器的资源请求情况。从图1-2中我们不难看出两点。首先资源利用情况的差异比较大，资源需求量大的时候可能会占用超过50%的服务器资源，而当资源需求小的时候资源占用率不足10%。这一点在图1-3中也得到了佐证。从图1-3中不难看出，任务的资源占用情况具有一定的波动性，最高的时候可达50%以上的资源利用率，
上海交通大学硕士学位论文-5-而低的时候也在10%左右；其次，大量的虚拟机中的任务对于服务器的资源情况量很小，约为65%的情况下资源占用率不足10%，而只有5%的情况会占用50%以上的资源。从图1-3中也可以看出平均的资源占用率约在20%左右的特点。图1-3虚拟机在不同完成进度下的资源需求情况Fig.1-3Resourcerequirementsofvirtualmachinesindifferentprogress从上述的结论中不难发现，如果我们按照任务的最大资源需求量提供服务器资源势必会造成很大的资源浪费。更进一步说，云数据中心的服务一般具有差分化的特点，有些任务的延迟敏感度高而有些任务对于延迟不敏感[23]。对于那些延迟不敏感的任务，如果在云数据中心端产生些许的资源需求量不满足，用户是可以接受的，并不会对云服务的满意程度带来太大的不利影响。此时如果能够将这些任务尽量打包在同一台物理机上进行运行，就可以将一些服务器空闲出来。此举不仅使得云服务提供商可以接受更多的任务，给他们带来更高的收入，还能降低服务器的总功耗和CO2的排放[24]。而据有关数据显示，对于一个大型公司来说，3%的功耗节约可以带来超过百万美元的收益[25]。得益于动态虚拟机合并技术，对于服务提供商来说可以通过虚拟机的迁移合并权衡延迟和功耗，已取得尽量大的收益。在图1-4中展示了HPProLiantML100G3、HPProLiantML100G4、HPProLiantML100G5与IBMServerx3250这四款服务器在不同的资源利用率下的功耗情况。如图所示，现有的服务器的功耗大多是非线性的，即不是使用了X%的资源对应的服务器功耗就是总功耗的X%，而是
本文编号：3463321
【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
雾计算架构图
上海交通大学硕士学位论文-4-务往往具有着不同的资源需求量分布与不同的任务处理延迟的要求[19]。而这两者之间是相关的，如果云服务提供商如果不能满足用户任务的资源请求情况，势必会加大任务的延迟情况，降低云服务的质量。而对于云服务提供商来说，对于客户的服务质量要求的满足情况会直接影响用户的满意程度，进而对于云服务提供商的商业未来带来重大影响[20]。图1-2虚拟机的资源需求情况Fig.1-2Resourcerequirementsofvirtualmachines但是一味满足用户的需求对于云服务提供商来说并不是最好的商业策略。在按需租用的大背景下，一般用户会指定租用的配置（如：CPU、内存等配置）与租用的时间。在这段租用的时间内，用户可以将自己的任务上传到云数据中心，由云数据中心划出相关的资源进行处理。但很多时候用户的任务并不需要这么多的资源，从而这造成了云数据中心资源极大的浪费[21]。图1-2中展示了由CoMon项目[22]采集得到的2011年3月的某一天下超过1000个装载有任务的虚拟机不同时刻对于服务器的资源需求情况，并将资源的占用率分成了10%以下、10%~20%、20%~30%、30%~40%、40%~50%与50%以上六级用饼图的方式进行了统计。而在图1-3中则展示了其中随机挑选的5个任务随任务的执行进度对于服务器的资源请求情况。从图1-2中我们不难看出两点。首先资源利用情况的差异比较大，资源需求量大的时候可能会占用超过50%的服务器资源，而当资源需求小的时候资源占用率不足10%。这一点在图1-3中也得到了佐证。从图1-3中不难看出，任务的资源占用情况具有一定的波动性，最高的时候可达50%以上的资源利用率，
上海交通大学硕士学位论文-5-而低的时候也在10%左右；其次，大量的虚拟机中的任务对于服务器的资源情况量很小，约为65%的情况下资源占用率不足10%，而只有5%的情况会占用50%以上的资源。从图1-3中也可以看出平均的资源占用率约在20%左右的特点。图1-3虚拟机在不同完成进度下的资源需求情况Fig.1-3Resourcerequirementsofvirtualmachinesindifferentprogress从上述的结论中不难发现，如果我们按照任务的最大资源需求量提供服务器资源势必会造成很大的资源浪费。更进一步说，云数据中心的服务一般具有差分化的特点，有些任务的延迟敏感度高而有些任务对于延迟不敏感[23]。对于那些延迟不敏感的任务，如果在云数据中心端产生些许的资源需求量不满足，用户是可以接受的，并不会对云服务的满意程度带来太大的不利影响。此时如果能够将这些任务尽量打包在同一台物理机上进行运行，就可以将一些服务器空闲出来。此举不仅使得云服务提供商可以接受更多的任务，给他们带来更高的收入，还能降低服务器的总功耗和CO2的排放[24]。而据有关数据显示，对于一个大型公司来说，3%的功耗节约可以带来超过百万美元的收益[25]。得益于动态虚拟机合并技术，对于服务提供商来说可以通过虚拟机的迁移合并权衡延迟和功耗，已取得尽量大的收益。在图1-4中展示了HPProLiantML100G3、HPProLiantML100G4、HPProLiantML100G5与IBMServerx3250这四款服务器在不同的资源利用率下的功耗情况。如图所示，现有的服务器的功耗大多是非线性的，即不是使用了X%的资源对应的服务器功耗就是总功耗的X%，而是
本文编号：3463321
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3463321.html
