基于云平台的智能燃气数据流处理系统设计

发布时间：2020-10-21 21:34

　　 由于传统燃气表具有抄表效率低、人工成本高、记录数据易出错、维护困难、安全性低等问题。智能燃气表技术应运而生,它解决了人工抄表、燃气泄漏自动报警、燃气设备故障检测等一系列问题。相比于传统表而言,它技术更加先进、更加高效、安全性更高。然而,相较于智能燃气设备,燃气平台还停留在简单的多线程程序上。传统的燃气平台处理数据的并发量少、可扩展性差、效率低下、高时延、可处理数据类型简单等问题已逐渐凸显出来。为此,本文深入分析了智能燃气设备数据的特点。并对比现有的主流技术,用云平台解决传统燃气平台可扩展性差的问题,Storm解决传统燃气平台高时延、高并发量的问题,JavaNI02解决高并发量下大量数据读写性能差的问题。传统的燃气平台具有可扩展性差的问题,一旦燃气数据骤增。服务器会由于性能不足从而导致在处理数据时极易丢失数据,想要解决日益增长的数据问题只能通过更换服务器硬件来解决。这将导致不断的更换硬件,给系统带来不必要的开销。基于此,本文系统根据云平台按需所取、可实时扩展的特点搭建了云平台来实时扩展不断增长的数据量要求。智能燃气数据要求具有低时延、高并发、高可靠性等特点。基于以上燃气数据特点,本文用分布式流系统Storm来处理燃气数据。经基准测试,它单个节点处理一百万个数据元组所需时间仅为一秒。更重要的是,在处理数据失败时,它会将处理失败后的数据交由另一个节点继续处理。保证每一条数据都得到正确处理。此外,实时流系统Storm还可以通过扩展其节点来增加系统可以处理的并发量。在传统处理燃气数据的平台中,Java采用阻塞流技术。阻塞流在处理上传数据时,必须等到一条数据处理结束才能进行下一条数据的处理,这将会大大降低系统的IO性能,基于此,本系统采用Java新的流技术NI02来处理燃气数据,并对两种IO流技术进行了性能比较及实验结果分析。本系统设计完成之后,本文对设计的智能燃气系统采用实时的燃气数据进行了功能测试与压力测试。在压力测试时,分别从并发能力和系统的IO性能两方面来进行了测试。测试结果表明,本文设计的系统足以满足现有的智能燃气设备数据的要求。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TU996;TP393.09
【部分图文】：

台是一种提供给用户各种网络资源的平台。使得用户可以按需索取各种诸如硬??盘、内存、ＣＰＵ、网络带宽等各种计算机网络资源。尽可能多的利用现阶段的硬??软件资源。图２－１为云平台基础架构图。??〔?Ａｐｐｌｉｃａｔｉｏｎ?广?、??—ｆ?＆３Ｓ?＇??ｆ?＼?Ｊ?、???Ｊ??Ｉ?Ｄａｔａ?、广??（?Ｍｉｄｄｌｅｗａｒｅ?＾＾、??■￣丨’?、＇??（ａｓ?ｙ、?ｙ??＾?Ｖｉｒｔｕａｌｉｚａｔｉｏｎ??Ｉ??（?Ｓｆｅｒｖｅｒｓ??ｖ???Ｊ?／?、??—?ｌａａＳ??〔?Ｓｏｒａｇｅ??Ｇ?Ｎｅｔｗｏｒｋ??图２－１云平台基础架构图??（１）

终端设备数据包括终端设备起始号、终端设备掩码、终端设备具体数据等信息。??其中终端设备数据的具体信息在釆集终端通信协议部分，集中器部分主要的查询??数据见图４－２。???）??浆中器査询数据???????中?集集软?载载秒＇事集?｜?密?｜??器中中?件采采?中?２?钥?３??生器器?版集集?５?苹?器弈版?５??产参时?本器器?曰！＾本?Ｊ??编?数间号?数信菜?３５?志?ｔ?号?２??号?设?息?＆?？??Ｔ?Ｔ?—?Ｉ??泰?５?心使霍?是是是?鐘具??３?摈跳?用抄否?否否孱?荽设体??辽?｜?周标读?水热气?备数??莖?Ｉ?期丨志?｜?表表Ｉ表?Ｓ｜｜?据??图４－２集中器部分查询数据??２８??

??１??图４－１集中器上传数据??在集中器查询、设置数据中，每条查询、设置命令中都包含具体的数据细节。??例如抄表方案包括是否超读模块、是否环境参数、是否燃气阀、是否水表等信息。??终端设备数据包括终端设备起始号、终端设备掩码、终端设备具体数据等信息。??其中终端设备数据的具体信息在釆集终端通信协议部分，集中器部分主要的查询??数据见图４－２。???）??浆中器査询数据???????中?集集软?载载秒＇事集?｜?密?｜??器中中?件采采?中?２?钥?３??生器器?版集集?５?苹?器弈版?５??产参时?本器器?曰！＾本?Ｊ??编?数间号?数信菜?３５?志?ｔ?号?２??号?设?息?＆?？??Ｔ?Ｔ?—?Ｉ??泰?５?心使霍?是是是?鐘具??３?摈跳?用抄否?否否孱?荽设体??辽?｜?周标读?水热气?备数??莖?Ｉ?期丨志?｜?表表Ｉ表?Ｓ｜｜?据??图４－２集中器部分查询数据
【参考文献】

相关硕士学位论文 前10条

1 王彬;基于OpenStack的云平台管理系统的设计与实现[D];北京交通大学;2016年

2 曾文静;Storm在电力大数据分析平台中的研究与应用[D];华北电力大学(北京);2016年

3 余扬;燃气远程抄表监控系统设计与软件实现[D];西南交通大学;2015年

4 刘鹏;基于OpenStack的私有云部署和监控技术的研究[D];北京邮电大学;2015年

5 龙少杭;基于Storm的实时大数据分析系统的研究与实现[D];上海交通大学;2015年

6 刘蓬;NIO高性能框架的研究与应用[D];湖南大学;2013年

7 鲁宾宾;基于Java NIO的通用框架的研究与实现[D];北京邮电大学;2013年

8 沈成钦;膜式燃气表的无线远程抄表系统设计[D];重庆大学;2012年

9 陈方;基于JAVA NIO通信框架的电话会议系统监控模块的设计与实现[D];西安电子科技大学;2010年

10 曾自强;基于NIO的java高性能网络应用的技术研究[D];北京邮电大学;2009年

本文编号：2850632