制造物联海量数据流处理方法研究

发布时间：2017-04-23 00:03

  本文关键词：制造物联海量数据流处理方法研究，，由笔耕文化传播整理发布。

【摘要】：制造物联技术是当代制造业中出现的一种新型的制造和服务模式,它可以极大提高我国制造业信息服务化水平,提升我国制造企业的市场竞争力和影响力。在制造物联环境中,由于制造过程复杂,大量的感知设备被部署到制造现场去监测生产情况,产生海量制造数据流。然而由于这些产生海量制造数据流存在如下特征：巨大的数据容量,多源的数据内容、复杂的数据结构、大的数据乱序排列、强的不确定数据值、多样化的数据表现形式、小价值数据信息值、高的响应需求等,使得现有的海量数据流处理方法难于直接支撑上述海量制造数据流的完全处理,导致现有的制造企业难于直接从上述产生海量信息流中去获取自己所需信息,从而严重影响企业的生产管理与控制水平。本论文在分析制造物联海量数据流存在的数据特征,当前处理面临挑战和现有研究成果基础上,对制造物联环境下海量数据流处理关键技术进行了深入研究,提出并设计出一系列面向制造物联这个特定环境下海量数据流高效检测和处理方法。总结本文开展相关工作并取得主要成果有如下：1)针对制造物联海量数据流因具有大的海量数据量而难于及时处理问题,提出并设计了一种面向制造物联海量多源数据流哈希结构复杂事件检测方法。解决了当前复杂事件检测方法在检测海量多源数据流时因存在大量的回溯操作和重复查找操作而导致的难于及时处理问题,为解决制造物联海量多源数据流高效检测问题提供了新方法。仿真结果表明,相比现有的检测方法,在检测相同海量数据流条件本文所提方法在检测时间,内存消耗和吞吐量方面有着显著提高。2)针对制造物联海量数据流因具有高的乱序性而难于及时判定的问题,提出并设计了一种面向制造物联海量乱序数据流改进自动机与哈希结构的复杂事件检测方法。解决了当前的复杂事件检测方法在检测乱序数据流时因存在乱序事件间内在关联关系难于确定和内在组成结构难于构成而导致的难于及时判定的问题,为解决制造物联海量乱序数据流高效检测问题提供了新途径。仿真结果表明,所提方法能够比较高效地在制造物联海量乱序数据流上完成事件的检测。3)针对制造物联海量数据流因具有强不确定性难于及时检测问题,发明了一种面向制造物联海量不确定性数据流有向无环图结构复杂事件检测方法。可以有效改善当前复杂事件检测方在检测不确定数据流时因组合数量太大而难于及时检测问题,为解决制造物联海量不确定性数据流高效检测问题提供了新思路。仿真结果表明,所提方法在减少海量不确定性数据流时检测时间,降低消耗内存和提高事件吞吐量方面比现有方法有效。4)针对现有方法在解码制造物联中大容量和小价值密度海量视频数据流过程中由于需要频繁地查找可变长码表而导致视频解码性能不高问题,首次提出并设计了一种面向制造物联海量视频数据哈希表和索引查找处理方法。通过在视频解码CAVLC查表中引进哈希表和索引查找技术,利用哈希表和索引查找技术减少CAVLC码表查找过程中码长,码字后缀长度和码字的查找和判断次数,进而减少访问查找可变长码表次数,从而提高海量视流整体解码性能。实验结果表明,我们建议的基于哈希表和索引查找方法由于减少访问查找可变长码表次数可以分别可以节约25%、35%查表内存消耗,约20%、40%查找时间和1056、923节字码字存储空间,可以极大提高了制造物联海量视频数据流解码性能。5)针对上一章改进的基于哈希表和索引查找方法由于仍旧采用有码表查找方式而占用一定的内存,查表时间和码表存储空间,从而限制了CAVLC解码性能完全提高问题,首次提出并设计了一种基于程序代码执行CAVLC无码表查找处理方法。通过采用程序代码执行代替了改进的基于哈希表和索引查找中查表方式,实现了CAVLC无码表高效查找处理方法,为实现制造物联海量视频数据流高性能解码查表问题提供了新思路。实验结果表明,我们建议的新方法由于不用查找码表而可以节约100%查表内存消耗,约45%查找时间和2320节码字存储空间,可以在制造物联环境下更好地完成海量视频数据流的高效解码要求。
【关键词】：制造物联 海量数据流 复杂事件检测 码表查找
【学位授予单位】：广东工业大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：F424;TP274
【目录】：

• 摘要4-6
• ABSTRACT6-17
• 第一章 绪论17-35
• 1.1 研究背景及意义17-22
• 1.2 国内外研究现状22-31
• 1.2.1 数据流上复杂事件检测方法22-27
• 1.2.2 视频流上编解码查表处理方法27-31
• 1.3 课题来源和主要研究内容31-35
• 1.3.1 课题来源31-32
• 1.3.2 主要研究内容32-33
• 1.3.3 论文结构33-35
• 第二章 海量多源数据流上哈希结构复杂事件检测方法35-45
• 2.1 问题提出35-36
• 2.2 基于哈希结构复杂事件检测方法36-40
• 2.2.1 哈希检测方法组成结构36-37
• 2.2.2 哈希检测方法检测原理及工作过程37-38
• 2.2.3 哈希检测方法实现步骤38-40
• 2.2.4 哈希检测方法应用过程40
• 2.3 仿真实验及结果分析40-43
• 2.3.1 仿真实验环境及参数设置41-42
• 2.3.2 测试算法检测时间42
• 2.3.3 测试算法内存消耗42-43
• 2.3.4 测试算法吞吐量43
• 2.4 本章小结43-45
• 第三章 海量乱序数据流上改进自动机和哈希结构复杂事件检测方法45-57
• 3.1 问题提出45-46
• 3.2 基于改进自动机与哈希结构复杂事件检测方法46-51
• 3.2.1 INFA-HTS检测方法组成结构46-47
• 3.2.2 INFA-HTS工作原理及检测过程47-48
• 3.2.3 INFA-HTS方法实现步聚48-50
• 3.2.4 INFA-HTS方法应用过程50-51
• 3.3 仿真实验及结果分析51-56
• 3.3.1 设置实验仿真环境及参数51-52
• 3.3.2 算法在检测时间比较52-54
• 3.3.3 算法在内存消耗比较54-55
• 3.3.4 算法在吞吐量比较55-56
• 3.4 本章小结56-57
• 第四章 海量不确定数据流上有向无环图结构复杂事件检测方法57-67
• 4.1 问题提出57
• 4.2 基于有向无环图结构复杂事件检测方法57-63
• 4.2.1 有向无环图检测方法组成结构58
• 4.2.2 有向无环图检测方法检测原理及过程58-60
• 4.2.3 有向无环图检测方法实现步骤60-62
• 4.2.4 有向无环图检测方法应用过程62-63
• 4.3 仿真实验与结果分析63-66
• 4.3.1 仿真实验环境设置及参数选择63-64
• 4.3.2 算法检测时间测试64-65
• 4.3.3 算法内存消耗测试65-66
• 4.3.4 算法吞吐量测试66
• 4.4 本章小结66-67
• 第五章 海量视频数据流上哈希与索引查找理处方法67-88
• 5.1 问题提出67
• 5.2 观察码表结构67-69
• 5.3 发现对应关系69-70
• 5.4 基于哈希表查找处理方法70-74
• 5.4.1 哈希表建立70-71
• 5.4.2 哈希查找工作原理71-72
• 5.4.3 哈希表查找步骤72-73
• 5.4.4 哈希表查找算法应用过程73-74
• 5.5 基于索引表查找处理方法74-79
• 5.5.1 索引表结构建立74-76
• 5.5.2 索引查找工作原理76-77
• 5.5.3 索引查找实现步骤77-78
• 5.5.4 索引查找算法应用过程78-79
• 5.6 哈希与索引查找方法比较79-80
• 5.7 仿真实验及结果分析80-87
• 5.7.1 仿真实验环境设置及参数选择80-82
• 5.7.2 算法在查表时间方面测试82-83
• 5.7.3 算法在内存消耗方面测试83-86
• 5.7.4 算法在存储空间方面测试86-87
• 5.8 本章小结87-88
• 第六章 海量视频数据流上程序代码执行处理方法88-104
• 6.1 问题提出88
• 6.2 基于程序代码执行的查找处理方法88-95
• 6.2.1 方法来源88-90
• 6.2.2 工作原理90-91
• 6.2.3 实现步骤91-93
• 6.2.4 算法应用过程93-94
• 6.2.5 三种方法比较94-95
• 6.3 仿真实验及结果分析95-103
• 6.3.1 设置实验仿真环境及选择参数96
• 6.3.2 测试算法查表时间96-99
• 6.3.3 测试算法内存消耗99-102
• 6.3.4 测试算法存储空间102-103
• 6.4 本章小结103-104
• 总结104-107
• 参考文献107-120
• 攻读博士期间发表或完成的论文及专利120-122
• 科研经历122-124
• 致谢12

【相似文献】

中国期刊全文数据库 前7条

1 ;“制造物联与RFID技术”专栏征稿通知[J];计算机集成制造系统;2012年09期

2 ;“制造物联与RFID技术”专栏征文通知[J];计算机集成制造系统;2012年10期

3 ;“制造物联与RFID技术”专栏征文通知[J];计算机集成制造系统;2012年11期

4 ;“制造物联与RFID技术”专栏征文通知[J];计算机集成制造系统;2013年01期

5 ;“制造物联与RFID技术”专栏征文通知[J];计算机集成制造系统;2012年12期

6 ;“制造物联与RFID技术”专栏征文通知[J];计算机集成制造系统;2013年02期

7 ;[J];;年期

中国重要报纸全文数据库 前1条

1 一民;找出地球最早生命的证据[N];北京科技报;2001年

中国博士学位论文全文数据库 前1条

1 王建华;制造物联海量数据流处理方法研究[D];广东工业大学;2015年

中国硕士学位论文全文数据库 前2条

1 曹珠英;韩国制造物责任法研究[D];华东政法大学;2008年

2 王锦煜;制造物联中车间底层数控设备监控管理系统的研究[D];江南大学;2014年

  本文关键词：制造物联海量数据流处理方法研究，由笔耕文化传播整理发布。

本文编号：321485