基于开源生态系统的大数据平台研究

发布时间：2018-04-30 14:43

  本文选题：Hadoop + 开源生态系统　； 参考：《计算机研究与发展》2017年01期

【摘要】：大规模数据的收集和处理是近年的研究热点,业界已经提出了若干平台级的设计方案,大量使用了开源软件作为数据收集和处理组件.然而,要真正满足企业应用中海量数据存储、多样化业务处理、跨业务分析、跨环境部署等复杂需求,尚需设计具有完整性、通用性、支持整个数据生命周期管理的大数据平台,并且对开源软件进行大量的功能开发、定制和改进.从小米公司的行业应用和实践出发,在深入研究现有平台的基础上,提出了一种新的基于开源生态系统的大数据收集与处理平台,在负载均衡、故障恢复、数据压缩、多维调度等方面进行了大量优化,同时发现并解决了现有开源软件在数据收集、存储、处理以及软件一致性、可用性和效率等方面的缺陷.该平台已经在小米公司成功部署,为小米公司各个业务线的数据收集和处理提供支撑服务.
[Abstract]:Large-scale data collection and processing is a hot research topic in recent years. Several platform-level design schemes have been proposed in the industry. Open source software is widely used as a data collection and processing component. However, in order to truly meet the complex requirements of mass data storage, diversified business processing, cross-service analysis, cross-environment deployment and other complex requirements in enterprise applications, it is still necessary to design integrality and versatility. Big data platform supports the whole data lifecycle management, and develops, customizes and improves the open source software. Based on the industry application and practice of Xiaomi Company, a new collection and processing platform of big data based on open source ecosystem is proposed on the basis of deep research on the existing platform, which can be used in load balancing, fault recovery, data compression. At the same time, the shortcomings of existing open source software in data collection, storage, processing, software consistency, availability and efficiency are found and solved. The platform has been successfully deployed at Xiaomi to support data collection and processing across its lines of business.
【作者单位】： 武汉大学计算机学院;小米科技有限责任公司;软件工程国家重点实验室(武汉大学);
【基金】：国家自然科学基金项目(91118003,61373039,61170022)~~
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 大邑;;开放数据平台是打开“智慧城市”的钥匙[J];计算机光盘软件与应用;2013年15期

2 陈强;立足国情 提供统一数据平台的整体解决方案与服务[J];CAD/CAM与制造业信息化;2002年07期

3 丘剑,李德明;广电网络数据平台的设想与实现[J];东莞理工学院学报;2004年04期

4 韩宏,梁向东;我国省级卫生监督执法数据平台建设的基本构想[J];中国卫生监督杂志;2005年03期

5 周琴芳;;实现精确营销——本地业务数据平台建设思路[J];每周电脑报;2006年15期

6 聂靖松;李维铭;邸瑞华;;主题数据平台[J];计算机与信息技术;2007年06期

7 臧铁军;;高可用的数据平台是信息化建设的基石[J];中国教育信息化;2009年15期

8 陆宁;刘成;;炼化企业应用数据平台的设计与应用[J];中国科技信息;2010年23期

9 李响;;微软发布新一代私有云及数据平台[J];石油工业计算机应用;2012年02期

10 夏蕾;;基于手机短信功能的数据平台分析与应用[J];电子制作;2012年11期

相关会议论文 前10条

1 ;普光气田安全评价数据平台研究(英文)[A];2011中国材料研讨会论文摘要集[C];2011年

2 李育芳;彭丰林;杨京凤;薛国强;王源;李敏;;地球物理信息数据平台设计与实现[A];中国地球物理2013——第十八专题论文集[C];2013年

3 万元;;监控数据平台下泵实时监测与诊断方法初探[A];中国水力发电工程学会信息化专委会、水电控制设备专委会2013年学术交流会论文集[C];2013年

4 张红梅;欧歌;陈刚;卢宇;屈进禄;;HXMT科学运行中心数据平台建设[A];第十四届全国核电子学与核探测技术学术年会论文集（下册）[C];2008年

5 林琳;林祺蓉;王俏俏;;地区调度综合数据平台在济南电网的开发及应用[A];山东电机工程学会2012年度学术年会论文集[C];2012年

6 张红梅;欧歌;陈刚;卢宇;屈进禄;;HXMT科学运行中心数据平台建设[A];第十四届全国核电子学与核探测技术学术年会论文集（2）[C];2008年

7 巩慧韬;;Web服务在集控综合数据平台中的应用与问题[A];中国水力发电工程学会信息化专委会2008年学术交流会论文集[C];2008年

8 许芳奎;;基于状态数据平台的高职院校教学质量保障体系构建的探讨[A];中国名校卷（天津卷）[C];2013年

9 马龙;余忠源;申烛;徐长安;王其乐;;集团化风电场功率预测数据平台系统的设计[A];2013电力行业信息化年会论文集[C];2013年

10 周攀搏;宗志林;;赵固二矿煤矿专用数据传输与集成处理平台的开发[A];第24届全国煤矿自动化与信息化学术会议暨第6届中国煤矿信息化与自动化高层论坛论文集[C];2014年

相关重要报纸文章 前10条

1 记者 任雪梅;首个大数据平台9月试运行[N];佛山日报;2013年

2 解玉婧;飞扬大数据平台备战大数据时代[N];经济参考报;2013年

3 邓云 张海涛 秋冰;年底前都将进入大数据平台[N];常州日报;2014年

4 本报记者 郭涛;大数据平台要为行业优化[N];中国计算机报;2014年

5 何启翱 吴恺;商业银行建好大数据平台正当时[N];中国城乡金融报;2014年

6 本报记者　 李中秋;上海将建期货业诚信数据平台[N];中国证券报;2006年

7 赵嘉莅;南京地区调度系统综合数据平台项目通过验收[N];国家电网报;2008年

8 特派记者 陈镌娟;建综合数据平台 管理境外人员[N];厦门日报;2013年

9 本报记者 程彦博;吉林农信数据平台三步走[N];中国计算机报;2013年

10 本报记者 张晓峰;拓尔思、东方国信和同有科技成大数据平台“三尖兵”[N];证券日报;2013年

相关硕士学位论文 前10条

1 李鹏飞;电力调控数据平台建设技术研究[D];山东大学;2015年

2 吕平;面向银行业务的数据平台的设计与实现[D];哈尔滨工业大学;2015年

3 胡琳惠;基于Web的工程项目管理软件数据平台设计[D];电子科技大学;2014年

4 李维辰;江苏省国税系统综合数据平台的设计和实现[D];电子科技大学;2014年

5 胡日新;公共交通开放数据平台及服务的设计与实现[D];电子科技大学;2015年

6 闫石磊;基于GeoServer的WebGIS共享数据平台[D];西安电子科技大学;2015年

7 赵郭q，

本文编号：1824968