支持通信数据查询分析的分布式计算系统

发布时间：2018-10-13 14:25

【摘要】：本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.
[Abstract]:In this paper, a communication data management platform based on distributed memory is introduced in detail, which can effectively support real-time processing of communication data and on-line query and analysis task. First of all, through the analysis of distributed technology and memory technology, according to the characteristics of the communication business, the technology selection is carried out; then, based on the high-performance distributed memory computing environment, the design, Finally, the realization of real-time processing of communication data and online query and analysis platform; finally, the platform implementation scheme is optimized by using memory technology. The experimental results show that the performance of the memory based distributed computing system is better than that of the hard-disk system in terms of query response speed, real-time data processing efficiency, system resource utilization and data throughput.
【作者单位】： 华东师范大学软件学院;华东师范大学数据科学与工程学院;
【基金】：国家自然科学基金(61103039);国家自然科学基金重点项目(61232002) 武汉大学重点实验室开放基金(SKLSE2012-09-16)
【分类号】：TP333

【共引文献】

相关期刊论文 前10条

1 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

2 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

3 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

6 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

7 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

8 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期

9 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[J];北京邮电大学学报;2014年S1期

10 刘琼;赵荣;孙立坚;;Map/Reduce框架下的粗糙集空间数据挖掘改进算法[J];测绘科学;2014年05期

相关博士学位论文 前10条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

7 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

8 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

9 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年

10 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

2 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

3 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

4 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年

5 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年

6 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年

7 但光祥;云计算环境下混合加密算法研究与实现[D];重庆大学;2013年

8 周涛;基于Hadoop的遥感数字图像处理方法研究[D];东北师范大学;2013年

9 程伟;海量信令并行即时分析系统的研究与设计[D];中国海洋大学;2013年

10 贾玉辉;面向语音交互的云计算系统的研究[D];中国海洋大学;2013年

【相似文献】

相关期刊论文 前10条

1 郇义鹏,虞水俊;利用API拦截技术实现串口通信数据拦截[J];计算机应用;2003年11期

2 沈国珍;;干扰下航空通信数据结构弹性鲁棒性检测方法[J];计算机仿真;2014年07期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相关硕士学位论文 前1条

1 顾霞;网络通信数据中的隐写技术研究[D];南京理工大学;2006年

，

本文编号：2268945