基于组件的大数据分析服务平台
本文选题：大数据 切入点：数据分析 出处：《计算机科学》2014年09期 论文类型：期刊论文
【摘要】：随着数据规模的快速增长,单机的数据分析工具已经无法满足需求。针对大数据的分析问题,设计并实现了一种基于组件的大数据分析服务平台Haflow。Haflow自定义了业务流程模型和可扩展的组件接口,组件接口支持各种异构工具的集成。系统接收用户定义的业务流程,将其翻译成执行流程实例,提交到Hadoop分布式集群上执行。Haflow是一个可扩展的、分布式的、支持异构分析工具的、面向服务的大数据分析服务平台。提出该平台有两重意义:一方面平台将与数据分析业务无关的工作封装起来,支持各种异构组件,以加快分析应用的开发速度;另一方面,平台后端使用Hadoop分布式系统来实现多任务的并发,从而提高应用的平均执行速度。
[Abstract]:With the rapid growth of the scale of the data, data analysis tool machine has been unable to meet the demand. According to the analysis of large data, the design and implementation of a data component analysis based on the Haflow.Haflow service platform customized business process model and scalable component interface, integrated component interface to support heterogeneous system receives user tools. The definition of business process, its translation into execution process instance, submitted to the Hadoop distributed cluster.Haflow is a scalable, distributed, heterogeneous analysis tools, analysis of service platform for big data service. This platform has two meanings: on the one hand, the platform will be independent of business and data analysis the work package, supports a variety of heterogeneous components, in order to speed up the analysis of application development speed; on the other hand, the rear end of the platform using Hadoop distributed system to achieve The concurrency of multitasking increases the average execution speed of the application.
【作者单位】： 中国科学院大学;中国科学院软件研究所;
【基金】：国家自然科学基金(61202065,61170074) 国家863计划(2012AA011204) 国家科技支撑计划(2012BAH05F02)资助
【分类号】：TP393.09
【相似文献】
相关期刊论文 前10条
1 ;Netopia VPN解决方案[J];通讯世界;2002年08期
2 Eryn Brown ,程世玉;新产品与改进产品[J];个人电脑;1996年01期
3 ;来自互联网的危险Malware的攻击[J];新电脑;2008年07期
4 邱旭东;刘文浩;;基于JSP的MVC开发模式研究及应用[J];中国科技信息;2006年01期
5 炊饼;;把QQ空间揣兜里[J];电脑爱好者;2008年10期
6 王德秀;内联网技术及其应用[J];有线电视技术;2003年24期
7 龙湘明,杨放春,苏森;组件模型(CCM)的多视点分析[J];计算机工程与应用;2003年36期
8 王美琴;基于JFC/Swing文本组件开发HTML语法分析器[J];计算机应用研究;2001年05期
9 冉春玉,赵凌燕;基于JSP模式2的Struts框架在线考试系统的开发[J];铁路计算机应用;2004年03期
10 白杨;;师生互动教学网站的设计研究[J];辽东学院学报(自然科学版);2007年04期
相关会议论文 前3条
1 火久元;刘礼;杨裔;刘海迪;李廉;;数学网络计算环境中监视和发现服务的部署方案[A];2006年全国理论计算机科学学术年会论文集[C];2006年
2 刘伟;张玉清;冯登国;;通用准则评估综述[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
3 袁博;汪斌强;张博;;绿色网络的实例——可重构柔性网络[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年
相关重要报纸文章 前6条
1 ;无线个性化服务将应运而生[N];人民邮电;2000年
2 ;大型应用的基础支撑平台[N];中国计算机报;2005年
3 爱一上条鱼;打造RSS，，聚合网站新闻[N];电脑报;2004年
4 张英;杀毒新利器[N];中国电脑教育报;2003年
5 新艳;思科倡导结构化无线感知型网络[N];通信产业报;2003年
6 ;3Com XRN互联工具包 聚合多台交换机能力[N];中国计算机报;2002年
相关博士学位论文 前1条
1 杨勇;SOA等级化服务替换理论与机制[D];复旦大学;2011年
相关硕士学位论文 前10条
1 邝景胜;分布式企业服务总线可靠性机制的研究与实现[D];浙江大学;2011年
2 张凯;J2EE技术在统计信息系统安全体系中应用与研究[D];湖北大学;2012年
3 周如民;BPEL引擎及动态恢复机制的研究与实现[D];西安电子科技大学;2009年
4 陈蛟;一种基于AJAX技术的Web应用框架的设计与实现[D];北京邮电大学;2008年
5 张国卿;基于SOA架构的现代服务业共性服务集成研究[D];解放军信息工程大学;2010年
6 曾建刚;G/S模式下基于组件的地学浏览器研究及应用[D];成都理工大学;2010年
7 代志华;服务计算风险信息的表示与获取研究[D];昆明理工大学;2013年
8 苑庆涛;基于QoS的动态Web服务组合系统的设计与实现[D];西安电子科技大学;2010年
9 周顺;面向Web Service的负载均衡策略研究[D];湖南大学;2010年
10 曹中洪;面向SOA的企业服务总线研究与应用[D];中国科学院研究生院（沈阳计算技术研究所）;2010年
本文编号：1575283
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/1575283.html
