大数据流计算环境下的低延时高可靠性的资源调度方法

发布时间：2018-10-22 15:05

【摘要】：在大数据处理过程中,如何保证流数据处理的可靠性及实时性变得日益重要。本文使用数据流图(DSG)对大数据流应用过程进行描述,并将DSG表示为扩展的Petri网以便对数据流过程进行建模。提出了基于CPU利用率平均变化率的资源熵算法计算资源组可靠性,并根据资源熵算法提出了基于时间和可靠性的资源调度算法(TRS-SCHE)以获得高可靠性、低延时的资源调度方案。通过仿真实验,模拟实现soda交通大数据分析应用并进行资源的调度,验证了TRSSCHE相比于Storm隔离调度算法在响应时间、请求失败率和算法时间复杂度方面的优势。
[Abstract]:In the process of big data processing, how to ensure the reliability and real-time of stream data processing becomes more and more important. In this paper, (DSG) is used to describe the application process of large data flow, and DSG is represented as an extended Petri net to model the process of data flow. A resource entropy algorithm based on the average change rate of CPU utilization is proposed to calculate the reliability of resource group. According to the resource entropy algorithm, a resource scheduling algorithm based on time and reliability (TRS-SCHE) is proposed to obtain a high reliability and low delay resource scheduling scheme. Through simulation experiments, soda traffic big data analysis and resource scheduling are simulated, and the advantages of TRSSCHE compared with Storm isolation scheduling algorithm in response time, request failure rate and algorithm time complexity are verified.
【作者单位】： 华东理工大学计算机科学与工程系;上海市计算机软件评测重点实验室;上海应用技术学院计算机科学与信息工程系;
【基金】：国家自然科学基金(61173048,61300041) 高等学校博士学科点专向科研基金(20130074110015) 中央高校基本科研业务费专项基金(WH1314038)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 郑永果，，靳开颜;数据流图的存贮模型[J];山东矿业学院学报;1996年02期

2 曹炜,林争辉;高层综合中一种新的控制/数据流图表示形式[J];上海交通大学学报;2000年07期

3 谢文玉,廖艳;实验项目卡片管理系统数据流图的设计[J];广东石油化工高等专科学校学报;2000年01期

4 徐天伟,夏幼明,李凯佳;数据流图描述语言的研究与设计[J];云南师范大学学报(自然科学版);2003年03期

5 白岚;凌秀琴;;数据流图在信息处理中的应用[J];光电技术应用;2005年06期

6 韩东红;王国仁;;数据流系统中卸载技术研究综述[J];计算机科学;2005年08期

7 李民民;;PowerDesigner16数据流图在科技项目管理系统设计中的应用[J];酒钢科技;2013年01期

8 段振华;郝克刚;;从数据流图导出结构图[J];计算机工程与应用;1989年01期

9 姚俊,冯树椿,胡上序;数据流图的生成编辑的研究[J];系统工程与电子技术;1993年03期

10 秦晓;数据流图的形式规范[J];软件学报;1994年05期

相关会议论文 前3条

1 王峰;郭长国;宗建建;施寅生;;常用的基于数据流的测试充分性准则[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年

2 牛亚文;边计年;吴强;薛宏熙;;HCDFG-Ⅱ—面向C语言系统描述的控制/数据流图表示[A];全国第13届计算机辅助设计与图形学（CAD/CG）学术会议论文集[C];2004年

3 赵康;边计年;吴强;薛宏熙;;C语言系统描述的HCDFG-Ⅱ实现[A];第三届中国测试学术会议论文集[C];2004年

相关重要报纸文章 前1条

1 刘靓;轻松应对高程软件设计题[N];中国电脑教育报;2003年

相关博士学位论文 前1条

1 吴昊;可验计算理论中若干问题研究[D];武汉大学;2013年

相关硕士学位论文 前10条

1 彭海军;贵州交通职业技术学院学生团员管理系统的研究与分析[D];云南大学;2015年

2 肖硕;基于数据流的图像特征值提取与索引构建方法研究[D];华中科技大学;2015年

3 付沛;数据流上的预测查询算法研究[D];华中科技大学;2007年

4 魏晗;面向海量数据库的数据流统计研究与实现[D];国防科学技术大学;2008年

5 关怡然;基于数据流架构的表面等离子体共振仪软件设计[D];东北师范大学;2011年

6 罗国勋;基于多加载器的图数据流分片算法研究[D];辽宁大学;2014年

7 吴浩;基于数据库模式的数据流图逆向恢复技术研究[D];复旦大学;2008年

8 李林娟;贵州省“春晖家园计划”项目管理信息系统分析与设计[D];云南大学;2010年

9 张怀向;基于数据流图的C~4ISR系统功能设计方法研究[D];国防科学技术大学;2010年

10 周大刚;贵州省“春晖扶贫互助社”项目管理信息系统分析与设计[D];云南大学;2011年

本文编号：2287501