BigDataBench:开源的大数据系统评测基准

发布时间：2017-10-17 17:42

  本文关键词：BigDataBench:开源的大数据系统评测基准

  更多相关文章： 大数据 基准测试 工业标准 测试方法 数据生成 应用案例

【摘要】：大数据系统的蓬勃发展催生了大数据基准测试的研究,如何公正地评价不同的大数据系统以及怎样根据需求选取合适的系统成为了热点问题.然而,应用领域的广泛性、数据类型的多样性和数据操作的复杂性使得大数据基准测试集的设计面临很大的挑战.现有的相关基准测试工作要么针对某一类特定的应用或软件栈,要么根据流行度主观地选择大数据负载,难以全面覆盖大数据的多样性和复杂性.针对现有工作的不足,文中讨论大数据评测基准需要满足的需求,并研制了一个跨系统、体系结构、数据管理3个领域的大数据基准测试开源程序集——BigDataBench.它覆盖5个典型的应用领域(搜索引擎、电子商务、社交网络、多媒体、生物信息学),包含结构化、半结构化、非结构化的数据类型,涵盖离线分析、交互式分析、在线服务、NoSQL这4种负载类型.目前包含14个真实数据集、3种类型的数据生成工具以及33个负载的不同软件栈实现.BigDataBench已广泛应用到学术界和工业界中,应用案例包括负载分析、体系结构设计、系统优化等.基于BigDataBench,中国信息通信研究院联合中国科学院计算技术研究所、华为等国内外知名公司和科研机构共同制定了国内首个工业标准的大数据平台性能评测标准.
【作者单位】： 中国科学院计算技术研究所;中国科学院大学;北京尖峰新锐信息科技研究院;中国信息通信研究院;
【关键词】： 大数据 基准测试 工业标准 测试方法 数据生成 应用案例
【基金】：国家自然科学基金重点项目(61432006)资助
【分类号】：TP311.13
【正文快照】： 士,研究员,博士生导师,中国计算机学会(CCF)高级会员,主要研究领域为操作系统、数据管理、基准测试、分布式系统.E-mail:zhan-jianfeng@ict.ac.cn.高婉铃,女,1989年生,博士研究生,主要研究方向为大数据基准测试、大数据分析.王磊,男,1976年生,博士研究生,高级工程师,主要研究

【参考文献】

中国期刊全文数据库 前1条

1 金澈清;钱卫宁;周敏奇;周傲英;;数据管理系统评测基准:从传统数据库到新兴大数据[J];计算机学报;2015年01期

【共引文献】

中国期刊全文数据库 前3条

1 钱卫宁;夏帆;周敏奇;金澈清;周傲英;;大数据管理系统评测基准的挑战与研究进展[J];大数据;2015年01期

2 王超;;基于大数据技术的现代移动通信研究[J];中国新通信;2015年03期

3 陈亚峰;郭一帆;;三层度量模型Berkeley DB与SQLite系统评测研究[J];中国测试;2015年07期

【二级参考文献】

中国期刊全文数据库 前3条

1 刘兵兵;孟小峰;史英杰;;CloudBM:云数据管理系统测试基准[J];计算机科学与探索;2012年06期

2 宫学庆;金澈清;王晓玲;张蓉;周傲英;;数据密集型科学与工程:需求和挑战[J];计算机学报;2012年08期

3 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

【相似文献】

中国期刊全文数据库 前10条

1 李江卫;未来展望[J];个人电脑;2000年12期

2 ;基准测试 整体性能[J];个人电脑;2004年07期

3 ;基准测试[J];个人电脑;2005年10期

4 ;基准测试[J];个人电脑;2006年05期

5 ;基准测试[J];个人电脑;2006年10期

6 翟艳芬;周润松;陈磊;;基准测试在服务器选型中的研究分析与实践[J];信息安全与技术;2011年05期

7 夏建东,龚正虎,王乐春;网络性能基准测试序列的边值生成法研究[J];计算机工程与科学;2001年02期

8 田原,云晓春,朱晓晖;防火墙性能基准测试研究[J];计算机仿真;2003年07期

9 ;基准测试[J];个人电脑;2004年04期

10 ;基准测试[J];个人电脑;2004年12期

中国重要会议论文全文数据库 前4条

1 谢静敏;杨喜昆;刘建强;叶晓俊;王建民;;TPC-App基准测试工具的关键技术[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

2 冯丹青;周海鹰;左德承;马宗庆;;基于TPC-C基准的高端容错机评测系统的研究[A];第六届中国测试学术会议论文集[C];2010年

3 贡顶;宣春;张相华;;GSS软件1-0．1微米MOS器件基准测试[A];全国计算物理学会第六届年会和学术交流会论文摘要集[C];2007年

4 张春早;许德政;郑善良;吴宜灿;;HENDL1.1/MG的临界基准测试与分析[A];第二届全国反应堆物理与核材料学术研讨会论文集[C];2005年

中国重要报纸全文数据库 前10条

1 龙辉;惠普公布服务器基准测试结果[N];中国税务报;2007年

2 ;服务器基准测试影响服务器选型[N];网络世界;2007年

3 ;多核加速应用程序[N];计算机世界;2006年

4 ;采购选型 度量有方[N];计算机世界;2007年

5 ;完成百万级用户IPTV基准测试[N];人民邮电;2007年

6 本报记者 吴玉征;Compuware推出17项基准测试[N];计算机世界;2011年

7 刘志勇　译;新TPC基准测试可衡量虚拟负载[N];网络世界;2013年

8 中国计量科学研究院新能源环境计量研究所副研究员 武彤;性能基准测试实现高性价比PC采购[N];中国政府采购报;2014年

9 记者 李佳师;小心，，IT营销陷阱[N];中国电子报;2005年

10 ;SQL Server 2005剑指Oracle[N];网络世界;2005年

中国博士学位论文全文数据库 前1条

1 谷长勇;事务处理服务器的性能评价研究[D];中国科学院研究生院（计算技术研究所）;2001年

中国硕士学位论文全文数据库 前6条

1 赵临虎;基于下一代决策支持评测基准的测试系统研发[D];华中科技大学;2012年

2 王唐愉;基准测试驱动的ASIP设计研究[D];浙江大学;2006年

3 曾乐涛;基于TPC-W基准的船舶电子商务系统性能测试[D];华中科技大学;2008年

4 冯丹青;基于TPC-C基准高端容错机评测系统研究与设计[D];哈尔滨工业大学;2010年

5 马宗庆;面向银行中间业务的服务器性能评测基准的研究与实现[D];哈尔滨工业大学;2011年

6 李旭;Java处理器异构多核系统的基准测试与性能优化[D];哈尔滨工业大学;2012年

本文编号：1050174