分布式系统中局部处理机的设计与实现

发布时间：2018-08-16 09:31

【摘要】：针对企业生产过程中存在大量原始数据需要实时处理的问题,设计并实现了一个基于自定义架构的局部处理机。在设计之初以Hadoop的并行架构为参考,对MapReduce的工作原理和缓存方式进行了分析,在此基础上根据实际生产环境设计了一个"多类线程协同处理"的程序架构,并辅以两类自定义的数据缓存方式,保证了分布式系统中的局部处理机在接收、计算、上传各环节的并发性和正确性。该系统投入实际生产并连续使用一年有余,实现了将企业多个车间生成的原始数据进行实时处理的预期目标,具有很好的稳定性、有效性和可扩展性。实际应用结果表明,自定义的程序架构和有效的缓存方式能实现大量数据的同步处理及分析。
[Abstract]:A local processor based on custom architecture is designed and implemented to solve the problem that a lot of raw data need to be processed in real time. At the beginning of the design, taking the parallel architecture of Hadoop as a reference, the working principle and cache mode of MapReduce are analyzed. Based on this, a program architecture of "multi-class thread cooperative processing" is designed according to the actual production environment. Two kinds of self-defined data buffering methods are used to ensure the concurrency and correctness of the local processor in receiving, calculating and uploading each link in the distributed system. The system has been put into actual production and used continuously for more than one year. It realizes the expected goal of real-time processing of raw data generated by multiple workshops of the enterprise, and has good stability, effectiveness and expansibility. The practical application results show that the self-defined program architecture and efficient cache can realize the synchronization and analysis of a large number of data.
【作者单位】： 江南大学数字媒体学院;
【分类号】：TP338.8;TP311.13

【参考文献】

相关期刊论文 前5条

1 周志远;张大方;缪力;;基于Java内存模型的并发程序模型检测[J];计算机工程与科学;2010年03期

2 张垠波;;线程池技术在并发服务器中的应用[J];计算机与数字工程;2012年07期

3 罗勇军;邵志清;;Agent技术的标准化进程与前景[J];计算机应用与软件;2009年03期

4 雷达;曾庆凯;;基于摘要的内存泄露分析方法改进[J];计算机应用研究;2011年11期

5 刘新强;曾兵义;;用线程池解决服务器并发请求的方案设计[J];现代电子技术;2011年15期

【共引文献】

相关期刊论文 前10条

1 黄庆;;Java同步线程模型分析与改进[J];电源技术应用;2013年01期

2 倪朔东;施Oz;;智能数据流传输在网络视频中的应用与实现[J];电视技术;2014年07期

3 钟健;;Java同步线程模型分析与改进研究[J];电脑知识与技术;2014年18期

4 陈佳俊;安晓宇;蔡希辉;李忠伟;;基于Agent的人员疏散系统设计与实现[J];计算机工程;2010年14期

5 唐富强;于鸿洋;张萍;;Linux下通用线程池的改进与实现[J];计算机工程与应用;2012年28期

6 许永达;;基于线程池的高并发访问考试系统设计[J];计算机与现代化;2013年03期

7 黄飞龙;;分布式计算中多队列线程池的设计与实现[J];科协论坛(下半月);2013年04期

8 孙秀斌;李云敏;;基于线程池技术的云闪定位远程控制软件设计[J];测控技术;2014年11期

9 刘娟;豆育升;何晨;唐红;;基于调度器的Hadoop性能优化方法研究[J];计算机工程与设计;2013年01期

10 梁明刚;陈西曲;;Linux下基于epoll+线程池高并发服务器实现研究[J];武汉工业学院学报;2012年03期

相关博士学位论文 前1条

1 贺利坚;多Agent系统中信任和信誉模型的研究[D];北京交通大学;2011年

相关硕士学位论文 前10条

1 陈齐;PSO算法在人群应急疏散模拟的研究与应用[D];中山大学;2011年

2 汪伟;基于M2M数据传输的医疗监护网关系统研究与设计[D];西南交通大学;2012年

3 唐富强;基于Linux的多媒体系统服务器端的设计与实现[D];电子科技大学;2012年

4 谢志栋;基于智能视频分析的多媒体信息处理与无线传输系统的设计与实现[D];南京邮电大学;2013年

5 李新;基于Web服务器集群的动态负载均衡算法改进及实现研究[D];湖南大学;2012年

6 张礼哲;网络安全管理系统中定制通信中间件的设计与实现[D];北京邮电大学;2013年

7 鲁宾宾;基于Java NIO的通用框架的研究与实现[D];北京邮电大学;2013年

8 何龙文;车辆驾驶行为实时监测关键技术的研究[D];华南理工大学;2013年

9 冯涛;网络计算机联锁仿真系统研究[D];兰州交通大学;2013年

10 林耀城;面向移动互联网应用的视频上传关键技术研究与应用[D];华南理工大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 孙根琴;胡静丽;;基于WinSock的邮件服务器的设计与实现[J];电脑知识与技术;2008年35期

2 胡巧玲;王艳杰;;电子邮件收发系统的研究与设计[J];电脑知识与技术;2009年21期

3 罗凯明,李兴源;基于多代理技术的不间断电力变电站设计方案[J];电网技术;2004年22期

4 李东晖;肖和平;贺小川;郭长国;;实时中间件中高性能线程池的研究与实现[J];湖南农业大学学报(自然科学版);2007年03期

5 陈宁江;林盘;;一种基于排队系统的启发式中间件动态线程池管理机制[J];计算机科学;2010年10期

6 郭辉;;多线程的效率[J];计算机应用;2008年S2期

7 王华,马亮,顾明;线程池技术研究与应用[J];计算机应用研究;2005年11期

8 刘廷苍;董华彪;;Java多线程机制[J];科技广场;2008年12期

9 蒋溢;黄进;王化晶;;基于多线程技术的聊天系统研究[J];计算机工程与设计;2008年15期

10 张渊;崔滨;余小清;万旺根;;线程池技术在网络游戏服务器中的应用[J];微计算机信息;2006年18期

【相似文献】

相关期刊论文 前10条

1 闫钧华,张焕春,经亚枝;一种改进的分布式系统任务名字解析机制[J];华中科技大学学报(自然科学版);2004年01期

2 姚星;基于分布式系统的设计模式[J];计算机应用;2004年S2期

3 陈世翔;胡爱群;;分布式系统可靠性的一种计算方法[J];计算机应用;2007年S1期

4 姜冬;王慧强;冯光升;吕宏武;林俊宇;;基于模糊层次化评估的分布式系统自毁感知方法及应用[J];小型微型计算机系统;2012年04期

5 ;分布式系统概念与设计[J];计算机教育;2013年08期

6 陆维明;一种分布式系统的设计原理[J];计算机学报;1992年06期

7 毕军,吴建平,朱江;基于扩展变迁系统的分布式系统一致性测试研究[J];电子学报;2000年02期

8 丛桂茹;分布式系统在石化中的应用[J];河南机电高等专科学校学报;2001年02期

9 陈艳芬;分布式系统中的模式应用(上)[J];广东通信技术;2002年06期

10 陈宁;王忠仁;丁香荣;;分布式系统中的全局状态算法及实现[J];计算机科学;2002年09期

相关会议论文 前10条

1 许赵云;黄林鹏;;分布式系统动态更新的研究[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年

2 殷跃鹏;郭长国;李小玲;王怀民;;基于事件的分布式系统行为分析框架[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

3 王晓鹏;苏亮;韩伟红;周斌;;大型分布式系统部署一致性的研究与实现[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

4 何明;裘杭萍;杨飞;刘勇;;基于可信分布式系统的可信认证技术研究[A];全国计算机安全学术交流会论文集（第二十三卷）[C];2008年

5 王刚;乔纯捷;王跃科;;基于时钟同步的分布式系统一致全局状态[A];第三届全国虚拟仪器大会论文集[C];2008年

6 周方;周光霞;;分布式系统软件可靠性评估的研究[A];2005第二届电子信息系统质量与可靠性学术研讨会论文集[C];2005年

7 冯锡炜;贾传荧;杨家轩;;JMS技术在分布式系统中的应用与实现[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年

8 蒋勇;李光文;张若文;;多业务数字分布式系统(MDAS)及其应用[A];四川省通信学会2013年学术年会论文集[C];2013年

9 徐长盛;高欣;;分布式系统与Ice[A];全国冶金自动化信息网2009年会论文集[C];2009年

10 刘渊;姜建国;缪继东;范晓岚;;一个分布式系统通信控制软件的设计与实现[A];中国工程物理研究院科技年报（2002）[C];2002年

相关重要报纸文章 前9条

1 抚苏;大数据带来价值[N];电脑报;2013年

2 ;首席“云”官[N];中国计算机报;2009年

3 本报记者 黄舍予;得“数据”者得天下[N];人民邮电;2012年

4 范范　编译;Docker威力：轻松化解“云锁定”[N];网络世界;2014年

5 ;IBM改进大机管理[N];网络世界;2006年

6 首都经济贸易大学 金勇;用Java和XML构建分布式系统[N];计算机世界;2002年

7 沈建苗编译;嬗变中的大型机[N];计算机世界;2006年

8 沈建苗 编译;弃用大型机时机已成熟？[N];计算机世界;2006年

9 ;企业用户再次倾心大型机[N];网络世界;2008年

相关博士学位论文 前10条

1 郑红;分布式系统形式化建模技术研究[D];中国科学院研究生院（软件研究所）;2003年

2 尚庆红;半分布式系统资源发现与资源分配研究[D];电子科技大学;2013年

3 王德俊;面向服务的分布式系统动态更新研究[D];上海交通大学;2010年

4 陈晓江;分布式系统软件体系结构建模与开发方法研究[D];西北大学;2010年

5 何盼;面向可靠性优化设计的分布式系统资源分配研究[D];重庆大学;2012年

6 唐小勇;异构并行分布式系统可信调度理论与方法研究[D];湖南大学;2013年

7 龚奕利;分布式环境中的资源发现研究[D];中国科学院研究生院（计算技术研究所）;2006年

8 彭舰;基于CORBA的分布式系统中实时—容错性的研究——分布式系统中动态调度的设计与实现[D];电子科技大学;2004年

9 刘国良;分布式系统中回卷恢复技术研究[D];重庆大学;2012年

10 闵帆;基于试探的任务分配算法研究[D];电子科技大学;2003年

相关硕士学位论文 前10条

1 殷跃鹏;基于事件的分布式系统行为分析框架的设计与实现[D];国防科学技术大学;2010年

2 胡俊;构建分布式系统的关键技术研究与实现[D];南京邮电大学;2012年

3 谢志海;分布式系统测试关键技术研究[D];西安电子科技大学;2013年

4 项震;基于多核处理机构建分布式系统的关键技术研究[D];南京邮电大学;2011年

5 卢旭;分布式系统自愈调控关键技术研究[D];哈尔滨工程大学;2009年

6 徐志成;策略性分布式系统中机制设计问题的研究[D];上海交通大学;2009年

7 李艳丽;分布式系统测试方法研究及应用[D];南京邮电大学;2011年

8 任伟;Social Networks对恢复大规模分布式系统的性能影响研究[D];电子科技大学;2010年

9 杨利;分布式系统测试技术研究及其应用[D];河北工业大学;2007年

10 陈亚龙;高校学分制学费信息分布式系统的设计[D];电子科技大学;2008年

，

本文编号：2185583