车载称重系统中缺失数据处理及填补算法研究与实现

发布时间：2017-03-16 09:04

  本文关键词：车载称重系统中缺失数据处理及填补算法研究与实现，由笔耕文化传播整理发布。

【摘要】：城市生活垃圾的管理一直以来是一个重要的社会问题,随着我国城市化进程的推进,城市环卫作业管理范围日渐扩大,生活垃圾清运管理任务和难度呈现出多重化趋势。为了应对垃圾清运管理上的挑战,本文设计了一套信息化的垃圾物流清运管理系统——车载称重管理系统,该系统以信息技术手段为依托,为城市居民、管理人员提供准确实时的垃圾清运监控服务、信息查询和管理服务。论文设计的车载称重系统从设备层和中央系统层两方面进行考虑,设备层负责收集各作业点的信息数据和垃圾量的数据,通过网络通信模块将数据上传至中央层数据库系统中,主要功能包括实时数据传输和离线数据存储;中央系统层的设计基于B/S架构,用户可以通过互联网进行实时查询清运作业情况、监控车辆作业路线和管理系统数据。系统主要分为数据通信、作业监控和数据管理服务三个子模块,实现的功能有数据采集、数据通信与传输、清运作业监控、数据报表查询、安全管理、网络管理和数据管理等功能。此外,还考虑到由于设备故障、通信网络中断、系统服务异常等原因,导致收集的数据是不完全的,系统设计了相关数据备份策略,实现了数据校验和审核功能模块。针对系统中的缺失的交易数据,本文提出了基于灰色关联度分析的填补方法对车载称重系统中丢失交易数据进行填补。该方法结合了灰色关联分析、KNN算法和多重填补算法的思想,将历史重量数据定义为原始的序列数据并建立序列数据模型,引入灰色关联度作为近邻相似序列的度量标准,采用重复填补法的思想对缺失数据进行多次填补,每次迭代计算的结果集作为下次迭代计算的初始数据,直到结果值的变化量小于某个值停止迭代过程,取最后一次填补结果为缺失数据的填补结果。本文实现了车载称重系统,并针对系统中存在的数据缺失问题提出了缺失值填补方法,使用交易数据进行了多组实验,实验结果表明基于灰色关联分析的缺失值填补算法在不同数据缺失率下填补效果优于常用的填补算法,能高效的处理数据集中全部的缺失值,且填补准确率高达80%;该算法建立了有效的数据模型,使得匹配过程中的计算量大大降低,具有更好的稳定性和针对性。
【关键词】：车载称重系统 缺失数据填补 灰色关联 KNN 混合填补
【学位授予单位】：东华大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 第1章 绪论10-14
• 1.1 研究背景及意义10
• 1.2 国内外研究情况10-12
• 1.3 本文研究内容与创新点12-13
• 1.4 本论文的组织结构13-14
• 第2章 相关基础理论14-20
• 2.1 数据缺失理论14-15
• 2.1.1 数据缺失简介14
• 2.1.2 数据缺失机制14-15
• 2.2 缺失数据处理方法15-18
• 2.2.1 基于填补的方法16-17
• 2.2.2 基于参数的似然估计法17-18
• 2.2.3 基于加权调整的方法18
• 2.3 灰色关联分析理论18-19
• 2.3.1 灰色系统理论18
• 2.3.2 灰色关联分析方法的概念与特点18-19
• 2.4 本章小结19-20
• 第3章 车载称重系统分析与设计20-32
• 3.1 系统需求分析20-24
• 3.1.1 功能性需求描述20-23
• 3.1.2 业务数据类型定义23-24
• 3.2 系统总体架构设计24-26
• 3.2.1 系统整体拓扑结构24
• 3.2.2 中央系统层结构24-25
• 3.2.3 设备层结构25-26
• 3.3 系统软件架构分析26-29
• 3.3.1 软件模块划分26-28
• 3.3.2 系统分层开发设计28-29
• 3.4 软件系统设计29-31
• 3.4.1 数据通信子系统29
• 3.4.2 监控子系统29-30
• 3.4.3 数据管理子系统30-31
• 3.5 本章小结31-32
• 第4章 车载称重系统实现及关键问题分析32-49
• 4.1 通信子系统实现32-36
• 4.1.1 数据采集32-33
• 4.1.2 数据传输协议33-35
• 4.1.3 通信转发机制35-36
• 4.2 监控子系统实现36-41
• 4.2.1 监控数据表结构37-38
• 4.2.2 监控服务实现38-40
• 4.2.3 监控界面示例40-41
• 4.3 数据管理系统实现41-45
• 4.3.1 模板设计41-42
• 4.3.2 数据服务实现42-44
• 4.3.3 报表界面示例44-45
• 4.4 数据缺失情况及原因分析45-47
• 4.5 数据缺失模式47-48
• 4.6 本章小结48-49
• 第5章 基于灰色关联分析的缺失数据填补方法49-58
• 5.1 填补方法思想及特点49
• 5.2 数据序列模型定义49-51
• 5.2.1 历史数据序列模型49-50
• 5.2.2 数据序列长度50-51
• 5.3 相似性的度量51
• 5.4 灰色绝对关联度计算51-52
• 5.5 插补方法实现步骤52-54
• 5.6 实验研究与分析54-57
• 5.7 本章小结57-58
• 第6章 总结与展望58-60
• 6.1 论文总结58-59
• 6.2 工作展望59-60
• 参考文献60-64
• 攻读硕士学位期间的发表的学术论文64-65
• 致谢65

【参考文献】

中国期刊全文数据库 前10条

1 刘思峰;蔡华;杨英杰;曹颖;;灰色关联分析模型研究进展[J];系统工程理论与实践;2013年08期

2 帅平;李晓松;周晓华;刘玉萍;;缺失数据统计处理方法的研究进展[J];中国卫生统计;2013年01期

3 陈光平;;基于时间序列数据特性的缺失值估计算法[J];计算机工程与应用;2012年12期

4 张英民;尚晓博;李开明;张朝升;张可方;荣宏伟;;城市生活垃圾处理技术现状与管理对策[J];生态环境学报;2011年02期

5 刘思峰;谢乃明;FORREST Jeffery;;基于相似性和接近性视角的新型灰色关联分析模型[J];系统工程理论与实践;2010年05期

6 孟军;刘永超;莫海波;;基于粗糙集理论的不完备数据填补方法[J];计算机工程与应用;2008年06期

7 刘金英,杨天行,李明,焦玉玲;一种加权绝对灰色关联度及其在密云水库水质评价中的应用[J];吉林大学学报(地球科学版);2005年01期

8 武建虎,贺佳,贺宪民,程红岩;多变量缺失数据的不同处理方法及分析结果比较[J];第二军医大学学报;2004年09期

9 陶渊,黄兴华,邱江;城市生活垃圾物流系统研究[J];环境卫生工程;2004年01期

10 虞健飞;张恒喜;朱家元;;数据缺失条件下的贝叶斯推断方法[J];计算机科学;2002年02期

中国博士学位论文全文数据库 前1条

1 孙友强;时间序列数据挖掘中的维数约简与预测方法研究[D];中国科学技术大学;2014年

  本文关键词：车载称重系统中缺失数据处理及填补算法研究与实现，，由笔耕文化传播整理发布。

本文编号：251545