基于SpringBoot的EAST实验数据存储监控系统
发布时间：2020-12-15 22:52
随着EAST实验的不断进行,会产生大量的实验数据、诊断数据以及工程数据,并且实时存储在MDSplus（Model Drive System Plus）服务器上,目前存储规模已达PB级别,但是存放在MDSplus服务器文件系统中的数据文件数量庞大、存放位置杂乱无章、分布不均、掺杂着很多无效文件且无可靠监控,容易造成数据缺失或者重复且无从查漏的现象,并且统计子实验的存储量、信号量大小仍需要通过传统linux下命令行的方式,操作杂糅,不具便捷性,此时,数据存储状态和用户行为的监控变得尤为重要,因此需要在现有的MDSplus存储服务器上搭建一个EAST实验数据存储监控系统,可以对这些数据文件进行集中管理监控,快速统计分析每次实验数据的有效信息,帮助预测实验的发展趋势,并且可对实验异常状态及时预警,有效防止数据出现丢失或者溢出的情况。本文介绍EAST实验数据存储监控系统的设计与实现,并对完善系统功能做出规划。系统体系结构包括EPICS+Linux驱动层、数据监听层、数据处理层、统计分析层、显示层、功能层六个部分,每一层都提供了相应的接口,降低了系统的耦合程度。系统通过对MDSplus服务器磁盘上...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
图２．１?Ｓｐｒｉｎｇ框架模块图??Ｓｐｒｉｎｇ框架有很多优点，例如：??９??
?数据更新接口?数据駟除接口?败据Ｓ置搽口??＾????ｒ?厂―?—＿．—?、??数据处理层?参数映射?ＳＱＬ＊？析?ＳＱＬ执行?结果映射??参数映射配置?ＳＱＬ获取?ＳｉｍｐｌｅＥｘｅｃｕｔｏｒ?结果映射配置??参数映射解析?？娜？－一?？?结果类型转换??参＊类型解析?动态ＳＱＬ?ＲｅｕｓｅＥｘｅｃｕｔｏｒ?结果》据拷贝?????１?＾??基｛出支撺层?连接管理?亊务管理?配置加載?《存管现??配置框架??ｖｋ???图２．２?ＭｙＢａｔｉｓ结构框架图??ＭｙＢａｔｉｓ框架架构流程如下：??１．配置加载。首先，ＭｙＢａｔｉｓ从配置文件和源代码注解中获取ＳＱＬ数据库的相??关配置信息，包括参数映射配置、ＳＱＬ代码、结果映射。之后，将配置信息??转化为ＭａｐｐｅｄＳｔａｔｅｍｅｎｔ对象并存储于内存中。??２．?ＳＱＬ语句解析。一般来说数据的调用请求和ＳＱＬ语句的ＩＤ信息会由接口??层接收。之后，ＭｙＢａｔｉｓ依据相关的ＩＤ信息找到相应的ＭａｐｐｅｄＳｔａｔｅｍｅｎｔ对??象并进行解析，最终得到ＳＱＬ语句和参数。??３．执行ＳＱＬ语句。根据第１、２步得到的ＳＱＬ语句和相关参数，对数据进行??相应操作，得到满足要求的结果。??４．结果映射。根据第三步得到的ＳＱＬ执行结果，按照相应的映射转换成合理??的数据类型（如ＨａｓｈＭａｐ、ＪａｖａＢｅａｎ或基本数据类型等），之后，返回最终??结果間。??２．?３?Ｎｇｉｎｘ?介绍??考虑到本文系统的功能需求，在Ｗｅｂ开发方面，我们选择了?Ｎｇｉｎｘ服务器，??Ｎｇｉｎｘ?（又称?ｅｎｇｉｎｅ?ｘ）是一款基于?ＲＥＳＴ?
来实现负载均衡，下面??简单介绍这部分的实现原理及其步骤［１５］。??（１）反向代理??介绍反向代理之前，需要先介绍正向代理的含义及应用场景。正向代理是用??户最常接触到的代理模式。当国内用户需要访问一些国外网站，由于延迟、服务??器位置、审查机制等原因，经常无法正常访问，此时可以通过操作ＦＱ来实现访??问。ＦＱ即将访问网站的请求先发送给国外网站的代理服务器，并由其代为访问，??之后将获得数据发送给国内的设备，此时就完成了一个代理访问，我们将这样的??网站访问流程称为正向代理，如图２．３所示。正向代理的特点之一是可以屏蔽或??隐藏客户端的信息，因为正向代理过程中服务器无法从具体的客户端获取访问请??求，只能获取来自代理服务器的请求。这样的规则导致了客户端明确服务器信息，??而服务器却无法获取客户端信息。??正向代理??Ｃｌｉｅｎｔ?ＬＡＮ??Ｉ??ｍｍｍｍ?ｍｍｍｍ??｜?■■■?／■■■Ｉ?；?■■■??：??Ｃｌｉｅｎｔ??图２．３?Ｎｇｉｒｕｃ正向代理模式图??与此形成对比的是反向代理的处理方式。反向代理通常应用于高访问量网站，??比如淘宝网，淘宝网（ｔａｏｂａｏ．ｃｏｍ）日访问人数远远超过了单个服务器的承载能??力，为了满足多个同时发生的访问请求，开发者只能选择通过部署多台服务器来??解决访问人数限制的问题，即分布式部署。在分布式部署中，有多个客户端发送??访问请求，服务器接收后，将请求按一定规则传输至后端处理。在此过程中，客??１３??
【参考文献】：
期刊论文
[1]EAST实验数据管理系统的设计与实现[J]. 王月婷,王华忠,王枫,刘鸿,章琦皓. 仪表技术. 2018(11)
[2]基于大数据技术的EAST实验数据访问日志分析系统的设计[J]. 章琦皓,王枫,王月婷. 计算机应用与软件. 2018(09)
[3]EAST即时通信系统[J]. 王兰,肖炳甲,袁旗平. 计算机系统应用. 2018(08)
[4]基于WEB开发中的XML与JSON数据传输格式研究[J]. 仇小花,秦栓栓,邱果. 信息技术与信息化. 2017(04)
[5]基于AJAX异步传输技术与Echarts3技术的动态数据绘图实现[J]. 郑幸源,洪亲,蔡坚勇,陈顺凡,柯俊敏. 软件导刊. 2017(03)
[6]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋. 信息通信. 2016(10)
[7]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海. 微型机与应用. 2016(14)
[8]基于Spring Boot的web设计与实现[J]. 杨家炜. 轻工科技. 2016(07)
[9]基于Bootstrap响应式Web前端研究[J]. 陈员义,李艺志. 福建电脑. 2015(12)
[10]关于Mybatis持久层框架的应用研究[J]. 荣艳冬. 信息安全与技术. 2015(12)
硕士论文
[1]基于B/S架构的绩效考核管理系统设计与实现[D]. 李大为.吉林大学 2018
[2]基于Spring Boot的整车出库管理系统设计与开发[D]. 王振宇.南京邮电大学 2018
[3]Oracle数据库监控系统的设计与实现[D]. 吕成哲.大连理工大学 2014
[4]科学数据价值鉴定研究[D]. 宋文凤.吉林大学 2013
[5]基于Nginx的安全管理系统的设计与实现[D]. 吴迪.北京邮电大学 2013
本文编号：2919035
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
图２．１?Ｓｐｒｉｎｇ框架模块图??Ｓｐｒｉｎｇ框架有很多优点，例如：??９??
?数据更新接口?数据駟除接口?败据Ｓ置搽口??＾????ｒ?厂―?—＿．—?、??数据处理层?参数映射?ＳＱＬ＊？析?ＳＱＬ执行?结果映射??参数映射配置?ＳＱＬ获取?ＳｉｍｐｌｅＥｘｅｃｕｔｏｒ?结果映射配置??参数映射解析?？娜？－一?？?结果类型转换??参＊类型解析?动态ＳＱＬ?ＲｅｕｓｅＥｘｅｃｕｔｏｒ?结果》据拷贝?????１?＾??基｛出支撺层?连接管理?亊务管理?配置加載?《存管现??配置框架??ｖｋ???图２．２?ＭｙＢａｔｉｓ结构框架图??ＭｙＢａｔｉｓ框架架构流程如下：??１．配置加载。首先，ＭｙＢａｔｉｓ从配置文件和源代码注解中获取ＳＱＬ数据库的相??关配置信息，包括参数映射配置、ＳＱＬ代码、结果映射。之后，将配置信息??转化为ＭａｐｐｅｄＳｔａｔｅｍｅｎｔ对象并存储于内存中。??２．?ＳＱＬ语句解析。一般来说数据的调用请求和ＳＱＬ语句的ＩＤ信息会由接口??层接收。之后，ＭｙＢａｔｉｓ依据相关的ＩＤ信息找到相应的ＭａｐｐｅｄＳｔａｔｅｍｅｎｔ对??象并进行解析，最终得到ＳＱＬ语句和参数。??３．执行ＳＱＬ语句。根据第１、２步得到的ＳＱＬ语句和相关参数，对数据进行??相应操作，得到满足要求的结果。??４．结果映射。根据第三步得到的ＳＱＬ执行结果，按照相应的映射转换成合理??的数据类型（如ＨａｓｈＭａｐ、ＪａｖａＢｅａｎ或基本数据类型等），之后，返回最终??结果間。??２．?３?Ｎｇｉｎｘ?介绍??考虑到本文系统的功能需求，在Ｗｅｂ开发方面，我们选择了?Ｎｇｉｎｘ服务器，??Ｎｇｉｎｘ?（又称?ｅｎｇｉｎｅ?ｘ）是一款基于?ＲＥＳＴ?
来实现负载均衡，下面??简单介绍这部分的实现原理及其步骤［１５］。??（１）反向代理??介绍反向代理之前，需要先介绍正向代理的含义及应用场景。正向代理是用??户最常接触到的代理模式。当国内用户需要访问一些国外网站，由于延迟、服务??器位置、审查机制等原因，经常无法正常访问，此时可以通过操作ＦＱ来实现访??问。ＦＱ即将访问网站的请求先发送给国外网站的代理服务器，并由其代为访问，??之后将获得数据发送给国内的设备，此时就完成了一个代理访问，我们将这样的??网站访问流程称为正向代理，如图２．３所示。正向代理的特点之一是可以屏蔽或??隐藏客户端的信息，因为正向代理过程中服务器无法从具体的客户端获取访问请??求，只能获取来自代理服务器的请求。这样的规则导致了客户端明确服务器信息，??而服务器却无法获取客户端信息。??正向代理??Ｃｌｉｅｎｔ?ＬＡＮ??Ｉ??ｍｍｍｍ?ｍｍｍｍ??｜?■■■?／■■■Ｉ?；?■■■??：??Ｃｌｉｅｎｔ??图２．３?Ｎｇｉｒｕｃ正向代理模式图??与此形成对比的是反向代理的处理方式。反向代理通常应用于高访问量网站，??比如淘宝网，淘宝网（ｔａｏｂａｏ．ｃｏｍ）日访问人数远远超过了单个服务器的承载能??力，为了满足多个同时发生的访问请求，开发者只能选择通过部署多台服务器来??解决访问人数限制的问题，即分布式部署。在分布式部署中，有多个客户端发送??访问请求，服务器接收后，将请求按一定规则传输至后端处理。在此过程中，客??１３??
【参考文献】：
期刊论文
[1]EAST实验数据管理系统的设计与实现[J]. 王月婷,王华忠,王枫,刘鸿,章琦皓. 仪表技术. 2018(11)
[2]基于大数据技术的EAST实验数据访问日志分析系统的设计[J]. 章琦皓,王枫,王月婷. 计算机应用与软件. 2018(09)
[3]EAST即时通信系统[J]. 王兰,肖炳甲,袁旗平. 计算机系统应用. 2018(08)
[4]基于WEB开发中的XML与JSON数据传输格式研究[J]. 仇小花,秦栓栓,邱果. 信息技术与信息化. 2017(04)
[5]基于AJAX异步传输技术与Echarts3技术的动态数据绘图实现[J]. 郑幸源,洪亲,蔡坚勇,陈顺凡,柯俊敏. 软件导刊. 2017(03)
[6]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋. 信息通信. 2016(10)
[7]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海. 微型机与应用. 2016(14)
[8]基于Spring Boot的web设计与实现[J]. 杨家炜. 轻工科技. 2016(07)
[9]基于Bootstrap响应式Web前端研究[J]. 陈员义,李艺志. 福建电脑. 2015(12)
[10]关于Mybatis持久层框架的应用研究[J]. 荣艳冬. 信息安全与技术. 2015(12)
硕士论文
[1]基于B/S架构的绩效考核管理系统设计与实现[D]. 李大为.吉林大学 2018
[2]基于Spring Boot的整车出库管理系统设计与开发[D]. 王振宇.南京邮电大学 2018
[3]Oracle数据库监控系统的设计与实现[D]. 吕成哲.大连理工大学 2014
[4]科学数据价值鉴定研究[D]. 宋文凤.吉林大学 2013
[5]基于Nginx的安全管理系统的设计与实现[D]. 吴迪.北京邮电大学 2013
本文编号：2919035
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2919035.html
