基于HBase的工业日志系统设计与实现

发布时间：2018-03-01 15:15

  本文关键词： 分布式 HBase 工业日志系统　出处：《大连理工大学》2016年硕士论文　论文类型：学位论文

【摘要】：工业日志系统一直以来是工业生产中监控生产系统运行状况的重要数据来源,但是在工业4.0进程中逐渐显现出其性能瓶颈。本文利用分布式数据库,分布式文件系统,异步网络I/O,负载均衡技术,JVM,开源框架等技术解决传统工业日志系统模型不断出现的性能瓶颈问题,将这些先进的计算机技术和开源框架融入工业日志系统的设计中,进一步提升传统工业日志系统的吞吐量,可靠性和安全性。本文采用自顶向下的设计方式,首先阐述了系统用到的主要技术,然后详细阐述系统前端,服务端,HBase数据库和系统测试的设计与实现。在前端和服务端的设计与实现过程中融合了开源框架和系统专用的应用架构,既保证了系统的性能,同时也在一定程度上继承了开源框架的高性能和高稳定性。在分布式数据库HBase和Hadoop分布式文件系统的设计与实现过程中,充分利用了缓存技术使系统的整体性能得到了很大的提升。通过单元测试的设计和实现保证了系统的每个模块的代码完全独立的完成相应的功能并且保证了系统可以持续集成性,性能测试的设计和结果保证了系统在一定请求压力下的可用性和可靠性。
[Abstract]:The industrial log system has always been an important data source to monitor the running status of the production system in industrial production, but its performance bottleneck has gradually appeared in the process of industry 4.0. This paper uses distributed database, distributed file system, Asynchronous network I / O, load balancing technology JVM, open source framework and other technologies to solve the traditional industry log system model emerging performance bottlenecks, these advanced computer technology and open source framework into the design of the industry log system. To further improve the throughput, reliability and security of the traditional industry log system. This paper uses a top-down design method, first describes the main technologies used in the system, and then describes the system front end in detail. The design and implementation of HBase database and system testing on server side. In the process of design and implementation of front-end and server-side, the open source framework and system-specific application architecture are combined, which ensures the performance of the system. At the same time, it also inherits the high performance and stability of open source framework to some extent. In the process of designing and implementing distributed database HBase and Hadoop distributed file system, The overall performance of the system has been greatly improved by making full use of cache technology. Through the design and implementation of unit testing, the code of each module of the system is guaranteed to complete the corresponding function completely independently and to ensure the system. Sustainable integration, The design and results of the performance test ensure the availability and reliability of the system under certain request pressure.
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52

【相似文献】

相关期刊论文 前10条

1 徐国华,李启炎,柳先辉;基于组成设计模式的日志系统[J];计算机应用研究;2005年03期

2 任旭林;齐琳琳;卢博;;高校职能部门网络工作日志系统建设研究[J];中国教育信息化;2012年15期

3 陈彩;;日志系统的设计与实现[J];电脑编程技巧与维护;2014年02期

4 牛晨;;浅谈视频日志系统[J];电视技术;2006年S1期

5 胡孟梁;耿良;蔡瑞英;;一种通用综合日志系统的设计与实现[J];计算机应用与软件;2008年05期

6 胡勇其;侯紫峰;;面向语义的日志系统构架设计[J];微电子学与计算机;2006年08期

7 王睦;;基于安全文档的日志系统管理与分析[J];现代电子技术;2011年20期

8 苏恒阳;;基于安全文档管理的日志系统设计[J];制造业自动化;2011年24期

9 黄侠;;“日志系统”在网络维护中的重要性[J];无线互联科技;2012年01期

10 连仁包;王卫星;;基于共享内存的松耦合日志系统研究和设计[J];计算机应用与软件;2013年06期

相关会议论文 前3条

1 彭会军;李亮举;周月杰;李彦斌;;一种轻量级日志系统的设计与实现[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年

2 周月杰;彭会军;李亮举;李彦斌;;冶金过程控制系统开发平台中日志系统的设计与应用[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年

3 阳小珊;朱立谷;罗洪元;张福;;IP网络存储的日志系统研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前3条

1 黄坚 曾霄;厦门国税局推行电子日志系统[N];中国税务报;2006年

2 汤武;电子网络：为领导干部履职展现透明窗口[N];金融时报;2006年

3 ;VPN走进了连锁超市[N];中国计算机报;2006年

相关硕士学位论文 前9条

1 丁磊;基于MongoDB的日志系统的设计与实现[D];南京大学;2014年

2 阮厦城;分布式环境下通用日志系统的设计与实现[D];哈尔滨工业大学;2015年

3 王普刚;基于HBase的工业日志系统设计与实现[D];大连理工大学;2016年

4 杨华辉;分布式日志系统的设计与实现[D];北京邮电大学;2015年

5 魏彬;基于分布式日志系统的数据云服务平台设计与实现[D];浙江大学;2013年

6 倪照斌;移动商务网日志系统设计与实现[D];北京邮电大学;2012年

7 魏建国;ABC职业学院教学日志系统设计与实现[D];电子科技大学;2015年

8 唐哲玲;基于AOP及迭代复合加密算法的日志系统设计与开发[D];上海师范大学;2005年

9 李勇;基于移动互联网的国际象棋对弈系统的设计与实现[D];华中科技大学;2011年

，

本文编号：1552474