典型大数据计算框架分析

发布时间：2018-06-27 06:52

  本文选题：大数据分类 + 大数据计算　； 参考：《中兴通讯技术》2016年02期

【摘要】：认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出(IO)等方面对现有的主流大数据计算框架进行了分析与总结,指出了未来的发展方向和研究热点。
[Abstract]:It is considered that big data computing technology has gradually formed two developing directions: batch computing and stream computing. Batch computing technology is mainly aimed at off-line calculation of static data, good throughput, but can not guarantee real-time; Stream computing technology is mainly aimed at on-line real-time computing of dynamic data, which has good timeliness, but it is difficult to obtain the full picture of data. This paper analyzes and summarizes the existing mainstream big data computing framework from the aspects of extensibility, fault tolerance, task scheduling, resource utilization, timeliness, input and output (IO), and points out the future development direction and research focus.
【作者单位】： 清华大学计算机科学与技术系;
【基金】：国家高技术研究发展(“863”)计划(2013AA01A213) 国家自然科学基金(61572280、61433008、U1435216、61373145)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前4条

1 彭小波;冯平;;基于MAS的CWE计算框架关键技术研究[J];计算机工程与应用;2007年19期

2 彭小波;冯平;王珏;;基于MAS的CWE计算框架的设计与实现[J];微计算机信息;2007年10期

3 徐睿峰;邹承天;郑燕珍;徐军;桂林;刘滨;王晓龙;;一种基于情绪表达与情绪认知分离的新型情绪词典[J];中文信息学报;2013年06期

4 ;[J];;年期

相关硕士学位论文 前2条

1 罗云深;森林植被仿真Agent计算框架的研究与实现[D];北京林业大学;2008年

2 刘效华;InfoSphere StreamS中图处理中间件的设计与实现[D];华中科技大学;2012年

，

本文编号：2073061