顺序敏感的多源感知数据填补技术

发布时间：2017-10-29 00:07

本文关键词：顺序敏感的多源感知数据填补技术

【摘要】：近年来,随着感知网络的广泛应用,感知数据呈爆炸式增长.但是由于受到硬件设备的固有限制、部署环境的随机性以及数据处理过程中的人为失误等多方面因素的影响,感知数据中通常包含大量的缺失值.而大多数现有的上层应用分析工具无法处理包含缺失值的数据集,因此对缺失数据进行填补是不可或缺的.目前也有很多缺失数据填补算法,但在缺失数据较为密集的情况下,已有算法的填补准确性很难保证,同时未考虑填补顺序对填补精度的影响.基于此,提出了一种面向多源感知数据且顺序敏感的缺失值填补框架OMSMVI(order-sensitive missing value imputation framework for multi-source sensory data).该框架充分利用感知数据特有的多维度相关性:时间相关性、空间相关性、属性相关性,对不同数据源间的相似度进行衡量;进而,基于多维度相似性构建以缺失数据源为中心的相似图,并将已填补的缺失值作为观测值用于后续填补过程中.同时考虑缺失数据源的整体分布,提出对缺失值进行顺序敏感的填补,即:首先对缺失值的填补顺序进行决策,再对缺失值进行填补.对缺失值进行顺序填补能够有效缓解在缺失数据较为密集的情况下,由于缺失数据源的完整近邻与其相似度较低引起的填补精度下降问题;最后,对KNN填补算法进行改进,提出一种新的基于近邻节点的缺失值填补算法NI(neighborhood-based imputation),该算法利用感知数据的多维度相似性对缺失数据源的所有近邻节点进行查找,解决了KNN填补算法K值难以确定的问题,也进一步提高了填补准确性.利用两个真实数据集,并与基本填补算法进行对比,验证了算法的准确性及有效性.
【作者单位】：东北大学计算机科学与工程学院;
【关键词】： 缺失数据 密集缺失 感知网络 顺序敏感的填补 多维度相关性
【基金】：国家自然科学基金(61472071,61272179) 国家重点基础研究发展计划(973)(2012CB316201) 中央高校基本科研业务费(N140404013)~~
【分类号】：TP301.6
【正文快照】： 由于感知设备硬件资源有限、抵制干扰性差等固有限制,感知网络在数据获取过程中经常存在数据缺失现象.目前,一般对缺失数据的处理办法分为3大类:(1)case deletion,即直接丢弃缺失数据元组;(2)learning withouthandling of missing data,即不做处理,直接将缺失数据元组传递给上

【相似文献】

中国期刊全文数据库前7条

1 莫路锋;毛方杰;聂江武;宣子蔚;;基于感知数据的无线传感网被动诊断方法[J];北京邮电大学学报;2013年01期

2 郭龙江;付惠娟;张中兆;;传感器网络感知数据自适应去噪方法[J];计算机工程与应用;2009年13期

3 赵卓峰;魏文飞;马强;;基于无共享架构的海量感知数据实时处理系统[J];微电子学与计算机;2012年09期

4 王爽;王国仁;;面向不确定感知数据的频繁项查询算法[J];计算机学报;2013年03期

5 王思野;许文俊;贺志强;牛凯;吴伟陵;;认知无线网络中协作感知数据上报性能分析[J];北京邮电大学学报;2011年S1期

6 马茜;谷峪;张天成;于戈;;一种基于数据质量的异构多源多模态感知数据获取方法[J];计算机学报;2013年10期

7 ;[J];;年期

中国硕士学位论文全文数据库前10条

1 熊英;面向移动群体感知的数据处理机制研究与系统实现[D];国防科学技术大学;2013年

2 李金荣;基于感知数据时域特征的WSNs故障诊断方法[D];浙江农林大学;2015年