大并发、高吞吐量实时数据平台的研究

发布时间：2017-09-02 01:05

  本文关键词：大并发、高吞吐量实时数据平台的研究

  更多相关文章： Storm Kafka ActiveMQ JMX 实时计算 数据处理 大数据

【摘要】：为了解决某省正在运行的"全省实时警情抽取平台"的数据吞吐量较低的问题,文章对影响平台的并发数和数据吞吐量的相关因素进行深入分析,并对数据平台中的汇聚队列进行性能调优。文章还对比ActiveMQ和Kafka队列系统的实现原理,针对大并发和高吞吐量设计仿真测试方案,同时还引入Drools规则引擎,以适应数据平台中的相关计算规则的变化;最后设计一套通过验证的完全可以应对大并发、高数据吞吐需求场景下的实时数据平台。
【作者单位】： 上海迪爱斯通信设备有限公司;
【关键词】： Storm Kafka ActiveMQ JMX 实时计算 数据处理 大数据
【分类号】：TP311.52
【正文快照】： Twitter、Weather、Spark、FullContact、雅虎等很多知名厂商和知名项目的使用和支持,并由Storm衍生1.1研究背景 出storm-website、storm-starter、storm-deploy、storm-随着近年来互联网、移动互联网、物联网、云计contrib、storm-mesos、storm-yam等相关项目,社区发算技术的

【相似文献】

中国期刊全文数据库 前10条

1 陈强;立足国情 提供统一数据平台的整体解决方案与服务[J];CAD/CAM与制造业信息化;2002年07期

2 韩宏,梁向东;我国省级卫生监督执法数据平台建设的基本构想[J];中国卫生监督杂志;2005年03期

3 周琴芳;;实现精确营销——本地业务数据平台建设思路[J];每周电脑报;2006年15期

4 聂靖松;李维铭;邸瑞华;;主题数据平台[J];计算机与信息技术;2007年06期

5 臧铁军;;高可用的数据平台是信息化建设的基石[J];中国教育信息化;2009年15期

6 陆宁;刘成;;炼化企业应用数据平台的设计与应用[J];中国科技信息;2010年23期

7 李响;;微软发布新一代私有云及数据平台[J];石油工业计算机应用;2012年02期

8 夏蕾;;基于手机短信功能的数据平台分析与应用[J];电子制作;2012年11期

9 解玉婧;;大数据时代已来临,“你”准备好了吗?——飞扬大数据平台备战大数据时代来临[J];机电兵船档案;2013年05期

10 本刊讯;;欧盟开放数据平台Open Data Portal[J];现代图书情报技术;2013年Z1期

中国重要会议论文全文数据库 前1条

1 李育芳;彭丰林;杨京凤;薛国强;王源;李敏;;地球物理信息数据平台设计与实现[A];中国地球物理2013——第十八专题论文集[C];2013年

中国重要报纸全文数据库 前6条

1 本报记者 程彦博;吉林农信数据平台三步走[N];中国计算机报;2013年

2 本报记者 罗强;SQL Server 2008战前预演 微软展示数据平台全新愿景[N];中国计算机报;2008年

3 本报记者 张惠;研发大数据平台打造智慧企业[N];中国信息化周报;2013年

4 本报记者 霍娜;SAP推出新一代实时数据平台[N];中国计算机报;2012年

5 本报记者 邹大斌;UMA大数据平台启动[N];计算机世界;2014年

6 艾童;向世界知名数据库迈进[N];中国社会科学院报;2009年

中国硕士学位论文全文数据库 前10条

1 吕平;面向银行业务的数据平台的设计与实现[D];哈尔滨工业大学;2015年

2 胡琳惠;基于Web的工程项目管理软件数据平台设计[D];电子科技大学;2014年

3 李维辰;江苏省国税系统综合数据平台的设计和实现[D];电子科技大学;2014年

4 胡日新;公共交通开放数据平台及服务的设计与实现[D];电子科技大学;2015年

5 闫石磊;基于GeoServer的WebGIS共享数据平台[D];西安电子科技大学;2015年

6 边炀凯;警用勤务智能分析系统数据平台软件设计[D];浙江大学;2016年

7 王长晟;沈阳地税数据平台征管子系统设计与实现[D];吉林大学;2016年

8 赵卫丹;基于大数据平台的城市地铁交通模式研究[D];吉林大学;2016年

9 吕泓源;区域信息资源数据平台的设计与实现[D];吉林大学;2016年

10 乐柏成;基于Hadoop大数据平台的交通行人流量预测方法及应用[D];广东工业大学;2016年

，

本文编号：775436