云海大数据一体机体系结构和关键技术

发布时间：2017-10-27 16:32

  本文关键词：云海大数据一体机体系结构和关键技术

  更多相关文章： 大数据一体机 可扩展性 可定制性 混合型软件架构 大数据行业应用

【摘要】：为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效的.
【作者单位】： 高效能服务器和存储技术国家重点实验室;浪潮电子信息产业股份有限公司;
【关键词】： 大数据一体机 可扩展性 可定制性 混合型软件架构 大数据行业应用
【基金】：国家“八六三”高技术研究发展计划基金项目(2015AA050203) “核高基”国家科技重大专项(2013ZX01039002)~~
【分类号】：TP311.13
【正文快照】： 随着信息时代云计算、物联网、移动互联网等技术的快速发展,数据已经渗透到每一个行业领域,成为重要的生产因素,而数据的海量累积逐渐被公认为是与水、石油、天然气同等重要的国家战略资源,将推动生产力发展和创新[1].IDC(InternationalData Corporation)预测[2],2020年以前全

【相似文献】

中国期刊全文数据库 前10条

1 张德群;龙建国;;现代作战实验仿真体系结构探讨[J];军事运筹与系统工程;2005年04期

2 傅兴钢;RISC体系结构上的编译时增强并行性代码重组[J];小型微型计算机系统;1990年09期

3 蔡卫东;新一代计算机信息处理体系结构——客户机/服务器[J];情报探索;1994年04期

4 朱虹,冯玉才;一种多媒体数据库管理系统的体系结构[J];计算机研究与发展;1998年01期

5 周艳萍;张淑娟;;浅析物联网体系结构的设计与实现[J];信息通信;2014年01期

6 ;体系结构[J];个人电脑;2001年11期

7 叶钰,应时,李伟斋,张韬;面向服务体系结构及其系统构建研究[J];计算机应用研究;2005年02期

8 周莉;养路费征收管理系统中异构体系结构的实现[J];电子器件;2005年01期

9 李清;陈禹六;;通用企业/集成系统参考体系结构研究[J];中国电子科学研究院学报;2008年03期

10 张慧敏;;基于体系结构的软件开发研究[J];吉林工程技术师范学院学报;2011年12期

中国重要会议论文全文数据库 前10条

1 王翠茹;高丽鲜;;元数据集成体系结构的研究[A];2009全国计算机网络与通信学术会议论文集[C];2009年

2 李俊超;张占月;甘朝虹;杨欣;;C~4ISR体系结构设计方法研究[A];2013第一届中国指挥控制大会论文集[C];2013年

3 楚旺;钱德沛;;基于体系结构的软件生产线开发方法的形式化框架[A];2005年全国理论计算机科学学术年会论文集[C];2005年

4 林欣;余道杰;周长林;;以只读存储体系结构提升计算机系统的病毒免疫能力[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集（下册）[C];2010年

5 刘大昕;邵滨;;DKBSA—Ⅰ:基于总线式网络的分布式知识库系统体系结构[A];第九届全国数据库学术会议论文集(上)[C];1990年

6 邹荃孙;薛劲松;牛孟渔;陈惠仁;;机械行业CIMS(计算机集成制造系统)体系结构[A];1994中国控制与决策学术年会论文集[C];1994年

7 孙冰;张忠平;刘国华;;DLMW:一种开放式科学数据库体系结构[A];2005年全国理论计算机科学学术年会论文集[C];2005年

8 梁博;;某施工企业管理信息系统及其实施策略[A];计算机技术在工程建设中的应用——第十三届全国工程建设计算机应用学术会议论文集[C];2006年

9 Songer,A.D.;Young,R.;Davis,K.;;在AEC/IEC领域可持续lT实施的社会体系结构[A];勘察设计企业信息化建设研讨会资料汇编[C];2003年

10 苏志勇;李必信;;基于体系结构的Web服务可靠性建模[A];第五届中国测试学术会议论文集[C];2008年

中国重要报纸全文数据库 前6条

1 清华大学国家CIMS工程技术研究中心 葛正宇 熊光楞 范文慧;PDM的“骨架”——体系结构[N];计算机世界;2002年

2 国家信息化专家委员会委员 高新民;完善推进体制和体系架构[N];人民邮电;2008年

3 ;突破五道“关”[N];计算机世界;2003年

4 北京大学计算机科学技术系 麻志毅 蒋严冰;UML 2.0之路：快车道还是绕行？[N];计算机世界;2001年

5 北京大学计算机科学技术系 蒋严冰 邵维忠;UML 2001：标准化的《奥德赛》史诗[N];计算机世界;2001年

6 本报记者 那罡;Check Point 专注是成功的关键[N];中国计算机报;2008年

中国博士学位论文全文数据库 前10条

1 朱玄;基于忆阻器的存储加密体系结构技术[D];国防科学技术大学;2014年

2 邹丹;面向异构体系结构的稀疏矩阵算法研究[D];国防科学技术大学;2013年

3 李长云;基于体系结构的软件动态演化研究[D];浙江大学;2005年

4 姜军;可执行体系结构及DoDAF的可执行化方法研究[D];国防科学技术大学;2008年

5 蒋哲远;基于Web服务的特定领域软件体系结构及其关键技术研究[D];合肥工业大学;2006年

6 吴小珍;GPDM系统的体系结构及其实施关键技术研究[D];武汉科技大学;2008年

7 刘奕明;基于体系结构、特征驱动的软件动态演化方法研究[D];复旦大学;2008年

8 杜静;流体系结构的编译技术研究[D];国防科学技术大学;2008年

9 张琳琳;支持面向方面SA设计的MDSoC建模方法研究[D];武汉大学;2009年

10 常轶松;面积带宽优化的嵌入式GPU可编程着色器体系结构研究[D];天津大学;2013年

，

本文编号：1104328