面向服务的云仿真平台资源调度管理
发布时间：2021-10-12 17:23
传统单机仿真平台缺乏统一的资源管理,对单机系统要求较高,复杂仿真过程中生成的海量数据,如仿真中间数据,不能进行集中有效管理,而这些仿真数据对于产品研发是非常宝贵的参考资料。本文把云计算技术和仿真设计、仿真计算以及数据管理相结合,打通计算层、存储层以及调度层的数据接口,整合现有软硬件资源,提供统一的资源的调度和管理机制,实现设计经验的规范化保存和资源的统一管理。本文主要研究内容如下:1.云仿真平台架构设计。实现了基于云的、开放、共享的网络协同仿真服务平台架构构设计,支持多用户同时使用云仿真平台进行不同任务的仿真建模与演示,实现了开源仿真系统Scilab/Xcos的云化管理。2.云仿真平台数据资源管理。针对云仿真平台在高并发情况下读写锁竞争严重,导致云仿真平台服务质量下降的问题,基于改进后的CAS算法将云仿真平台数据层锁机制由悲观锁优化为乐观锁,降低了高并发场景下云仿真平台数据层锁竞争,同时改进了云平台读流程,实现了网络读,短路读和文件零拷贝读的层次读取,有效提高了数据读取效率。3.云仿真平台计算资源管理调度。基于远程直接数据存取技术改进了云仿真平台跨界点计算的资源调度机制,有效缓解了云仿...
【文章来源】：中北大学山西省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
云平台总体设计图
中北大学学位论文92.3.2客户端客户端仿真工具采用开源的仿真工具Scilab，Scilab的核心架构是模块化仿真，每一类功能或者任务都可以分为一个个单独功能包（module）。每个功能包都执行各自对应的功能和任务，相互尽量不影响，以使得功能包之间相互的耦合性降到最低。如图2-4所示是SiROS基础系统的界面。图2-4SiROS基础系统界面Fig2-4Simulationdeductionsysteminterface2.3.3接口层设计云仿真平台采用了以资源为中心，以面向服务为架构。接口层提供标准化RESTful的数据服务接口。RESTfulAPI是目前比较成熟的一套互联网应用程序的API设计理论。标准化数据服务接口遵循RESTfulAPI开发规范将具备如下优点：(1)接口URL具有很强可读性的，具有自描述性，方便查看及调用。(2)便于文档化和描述RESTfulAPI，减轻阅读接口文档的工作量，提高互操作性；(3)提供无状态服务接口，提高了应用程序水平扩展性。
中北大学学位论文10如图2-5所示，云仿真平台接口层接收客户端仿真工具服务请求，通过负载均衡模块将服务请求均衡的分发给服务网关，服务网关选取相应的数据服务。同时，网络接口层对云平台进行进行链路跟踪，集群监控以及服务容错保护。图2-5接口层架构图Fig2-5Interfacelayerarchitecturediagram2.3.4计算层设计云仿真平台计算层由平台的基础计算集群组成，采用Spark并行计算框架，以PaaS架构形式向客户端提供基础计算服务。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark使用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。其部署模式主要有三种[20](1)本地模式Local[N]模式。用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试。(2)Standalone模式。独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。。(3)SparkOnYarn模式。SparkonYarn支持两种模式：客户端和集群模式。1)客户端模式
【参考文献】：
期刊论文
[1]一种跨HDFS集群的文件资源分布式高效存储方法[J]. 戴威. 电子设计工程. 2019(21)
[2]蚁群优化算法的Docker集群调度策略[J]. 李东光,刘智平,姜雨菲. 西安工业大学学报. 2019(03)
[3]基于云平台的大坝安全监测数据管理及分析系统研发与应用[J]. 牛广利,李端有,李天旸,何亮. 长江科学院院报. 2019(06)
[4]一种HDFS元数据分级存储策略[J]. 马东,邵维专. 现代计算机(专业版). 2018(08)
[5]NV-Shuffle:基于非易失内存的Shuffle机制[J]. 潘锋烽,熊劲. 计算机研究与发展. 2018(02)
[6]Spark内存管理及缓存策略研究[J]. 孟红涛,余松平,刘芳,肖侬. 计算机科学. 2017(06)
[7]云计算环境下的资源调度和优化方法[J]. 陈文庆,程雪颖. 激光杂志. 2016(06)
[8]基于云仿真平台的高可用技术研究[J]. 周利敏,傅妍芳,高武奇,高祥,程兵. 系统仿真学报. 2015(04)
[9]基于hadoop云平台的智能电网HDFS资源存储技术研究[J]. 孟祥萍,周来. 电测与仪表. 2014(19)
[10]基于云计算的电子政务大数据管理研究[J]. 迪莉娅. 图书馆理论与实践. 2013(12)
硕士论文
[1]基于HBase的高效数据存取平台的设计与实现[D]. 张祎.北京邮电大学 2018
[2]Spark数据处理平台中内存数据空间管理技术研究[D]. 王海华.北京工业大学 2016
本文编号：3432999
【文章来源】：中北大学山西省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
云平台总体设计图
中北大学学位论文92.3.2客户端客户端仿真工具采用开源的仿真工具Scilab，Scilab的核心架构是模块化仿真，每一类功能或者任务都可以分为一个个单独功能包（module）。每个功能包都执行各自对应的功能和任务，相互尽量不影响，以使得功能包之间相互的耦合性降到最低。如图2-4所示是SiROS基础系统的界面。图2-4SiROS基础系统界面Fig2-4Simulationdeductionsysteminterface2.3.3接口层设计云仿真平台采用了以资源为中心，以面向服务为架构。接口层提供标准化RESTful的数据服务接口。RESTfulAPI是目前比较成熟的一套互联网应用程序的API设计理论。标准化数据服务接口遵循RESTfulAPI开发规范将具备如下优点：(1)接口URL具有很强可读性的，具有自描述性，方便查看及调用。(2)便于文档化和描述RESTfulAPI，减轻阅读接口文档的工作量，提高互操作性；(3)提供无状态服务接口，提高了应用程序水平扩展性。
中北大学学位论文10如图2-5所示，云仿真平台接口层接收客户端仿真工具服务请求，通过负载均衡模块将服务请求均衡的分发给服务网关，服务网关选取相应的数据服务。同时，网络接口层对云平台进行进行链路跟踪，集群监控以及服务容错保护。图2-5接口层架构图Fig2-5Interfacelayerarchitecturediagram2.3.4计算层设计云仿真平台计算层由平台的基础计算集群组成，采用Spark并行计算框架，以PaaS架构形式向客户端提供基础计算服务。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark使用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。其部署模式主要有三种[20](1)本地模式Local[N]模式。用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试。(2)Standalone模式。独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。。(3)SparkOnYarn模式。SparkonYarn支持两种模式：客户端和集群模式。1)客户端模式
【参考文献】：
期刊论文
[1]一种跨HDFS集群的文件资源分布式高效存储方法[J]. 戴威. 电子设计工程. 2019(21)
[2]蚁群优化算法的Docker集群调度策略[J]. 李东光,刘智平,姜雨菲. 西安工业大学学报. 2019(03)
[3]基于云平台的大坝安全监测数据管理及分析系统研发与应用[J]. 牛广利,李端有,李天旸,何亮. 长江科学院院报. 2019(06)
[4]一种HDFS元数据分级存储策略[J]. 马东,邵维专. 现代计算机(专业版). 2018(08)
[5]NV-Shuffle:基于非易失内存的Shuffle机制[J]. 潘锋烽,熊劲. 计算机研究与发展. 2018(02)
[6]Spark内存管理及缓存策略研究[J]. 孟红涛,余松平,刘芳,肖侬. 计算机科学. 2017(06)
[7]云计算环境下的资源调度和优化方法[J]. 陈文庆,程雪颖. 激光杂志. 2016(06)
[8]基于云仿真平台的高可用技术研究[J]. 周利敏,傅妍芳,高武奇,高祥,程兵. 系统仿真学报. 2015(04)
[9]基于hadoop云平台的智能电网HDFS资源存储技术研究[J]. 孟祥萍,周来. 电测与仪表. 2014(19)
[10]基于云计算的电子政务大数据管理研究[J]. 迪莉娅. 图书馆理论与实践. 2013(12)
硕士论文
[1]基于HBase的高效数据存取平台的设计与实现[D]. 张祎.北京邮电大学 2018
[2]Spark数据处理平台中内存数据空间管理技术研究[D]. 王海华.北京工业大学 2016
本文编号：3432999
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3432999.html
