支持大规模流数据在线处理的自适应检查点机制

发布时间：2018-08-23 09:33

【摘要】：提出了一种支持流数据处理、在线动态调节周期的检查点机制。首先,面向突发性流场景,建立恢复时间计算模型,机制为节点故障提供最大恢复时间保障。其次,针对数据流实时变化的特点,提出检查点实时性代价量化模型。最后,设计流量高峰避让协议,基于检查点实时性代价判断,动态选取最佳检查点时机。对比实验结果表明:与传统检查点方法相比,该机制在灵活性和实时性方面具有明显优势,能够满足流数据处理高可靠性和实时性容错的要求。
[Abstract]:In this paper, a checkpoint mechanism is proposed to support data processing and on-line dynamic regulation of cycle. First of all, for the sudden flow scenario, a recovery time calculation model is established, which provides the maximum recovery time guarantee for node failure. Secondly, according to the characteristics of real-time data flow, a real-time cost quantization model of checkpoint is proposed. Finally, the flow peak avoidance protocol is designed, and the optimal checkpoint timing is dynamically selected based on the real-time cost judgment of checkpoint. The experimental results show that compared with the traditional checkpoint method, the mechanism has obvious advantages in flexibility and real-time, and can meet the requirements of high reliability and real-time fault tolerance in stream data processing.
【作者单位】： 吉林大学计算机科学与技术学院;
【基金】：国家自然科学基金项目(61170004) 深部探测技术与实验研究专项项目(SinoProbe-09-01) 教育部高等学校博士学科点专项科研基金项目(20130061110052) 吉林省科技发展计划重点科技攻关项目(20140204013GX) 国家重点研发计划高性能计算专项项目(2016YFB0201503)
【分类号】：TP302.8

【相似文献】

相关期刊论文 前10条

1 金澈清,钱卫宁,周傲英;流数据分析与管理综述[J];软件学报;2004年08期

2 聂国梁;卢正鼎;;流数据实时近似求和的算法研究[J];小型微型计算机系统;2005年10期

3 李卫民;于守健;骆轶姝;乐嘉锦;;流数据管理的降载技术:研究进展[J];计算机科学;2007年06期

4 李子杰;郑诚;;流数据和传统数据存储及管理方法比较研究[J];计算机技术与发展;2009年04期

5 潘静;于宏伟;;流数据管理降载技术研究综述[J];中国管理信息化;2009年21期

6 邹永贵;龚海平;夏英;宋强;;一种面向流数据频繁项挖掘的降载策略[J];计算机应用研究;2011年04期

7 聂国梁;卢正鼎;聂国栋;;流数据近似统计算法研究[J];计算机科学;2005年04期

8 魏晶晶;金培权;龚育昌;岳丽华;;基于流数据的大对象数据缓冲机制[J];计算机工程;2006年11期

9 杨立;;基于权重的流数据频繁项挖掘算法的应用[J];微型机与应用;2011年02期

10 尹为;张成虎;杨彬;;基于流数据频繁项挖掘的可疑金融交易识别研究[J];西安交通大学学报(社会科学版);2011年05期

相关会议论文 前3条

1 刘正涛;毛宇光;吴庄;;一种新的流数据模型及其扩展[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

2 姚春芬;陈红;;分布偏斜的流数据上的一种直方图维护算法[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

3 孙焕良;赵法信;鲍玉斌;于戈;王大玲;;CD-Stream——一种基于空间划分的流数据密度聚类算法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

相关博士学位论文 前6条

1 丁智国;流数据在线异常检测方法研究[D];上海大学;2015年

2 聂国梁;流数据统计算法研究[D];华中科技大学;2006年

3 刘建伟;流数据查询系统结构及模式查询算法的研究[D];东华大学;2005年

4 李卫民;流数据查询算法若干关键技术研究[D];东华大学;2008年

5 屠莉;流数据的频繁项挖掘及聚类的关键技术研究[D];南京航空航天大学;2009年

6 陈筠翰;车载网络的若干关键技术研究[D];吉林大学;2014年

相关硕士学位论文 前10条

1 孔祥佳;基于海洋平台监测的流数据管理研究[D];大连理工大学;2015年

2 王晨阳;支持位置谓词的XML流数据查询技术[D];北京工业大学;2015年

3 王中义;基于动态支持度的流数据关联规则挖掘[D];哈尔滨工业大学;2014年

4 赵丹;面向流数据的不平衡样本分类研究[D];哈尔滨工业大学;2014年

5 冯学智;基于宏森林自动机的XML流数据查询技术[D];北京工业大学;2015年

6 徐雳雳;物流数据中的云聚类调度算法研究[D];南京邮电大学;2015年

7 肖丙贤;大规模流数据聚集查询服务的生成与优化[D];北方工业大学;2016年

8 刘晓斐;分布式流处理系统操作共享优化算法研究[D];吉林大学;2016年

9 张媛;基于弹性分布式数据集的流数据聚类分析[D];华东师范大学;2016年

10 王曾亦;基于内存计算的流数据处理在飞行大数据的研究与应用[D];电子科技大学;2016年

，

本文编号：2198639