高维相关性缺失数据的分块填补算法研究

发布时间：2018-06-25 00:47

  本文选题：高维相关性数据 + 缺失数据　； 参考：《计算机科学与探索》2017年10期

【摘要】：研究了高维相关性缺失数据的填补方法,提出了分块填补算法。该算法核心思想是:在填补数据的过程中会考虑变量之间的相互关系,仅利用与待填补数据有相关性的数据进行填补,从而降低不相关数据对缺失数据填补的影响,提高数据填补的准确度。同时,该算法能够并行处理缺失数据,从而提高数据填补效率,对于高维缺失数据的填补有重要意义。为了对分块情况未知的缺失数据进行分块,提出了基于k-means聚类的分块算法。大量的仿真实验和基于真实数据集的实验表明,对于相关性数据,分块填补算法能够有效地利用相关信息进行填补,从而提高数据填补准确度。
[Abstract]:The filling method of high dimensional correlation missing data is studied, and a block filling algorithm is proposed. The core idea of the algorithm is that the relationship between variables will be considered in the process of filling the data, and only the data that is relevant to the data to be filled will be used to fill the missing data, so as to reduce the impact of the irrelevant data on the missing data filling. Improve the accuracy of data filling. At the same time, the algorithm can process the missing data in parallel, so as to improve the efficiency of data filling, which is of great significance for the filling of high dimensional missing data. In order to block the missing data which is unknown, a block algorithm based on k-means clustering is proposed. A large number of simulation experiments and experiments based on real data sets show that the block filling algorithm can effectively use the relevant information to fill the correlation data and thus improve the accuracy of data filling.
【作者单位】： 中央财经大学信息学院;国网荆州供电公司信通分公司;国网辽宁省电力有限公司信息通信分公司;
【基金】：中央财经大学青年教师发展基金No.QJJ1510 国家电网科技部项目No.SGTYHT/14-JS-188~~
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 张星;郝伟;;不完备或缺失数据及其填补方法研究[J];福建电脑;2007年04期

2 刘星毅;曾春华;江南雨;陈振华;韦小玲;;缺失数据的处理和挑战[J];钦州学院学报;2008年06期

3 肖静;骆如九;宋雯;汤在祥;徐辰武;;带有缺失数据的一种动态聚类方法[J];中国农业科学;2012年21期

4 周秀梅;李作春;覃泽;;有序填充微阵列缺失数据[J];计算机工程与应用;2009年22期

5 郝胜轩;宋宏;周晓锋;;基于近邻噪声处理的KNN缺失数据填补算法[J];计算机仿真;2014年07期

6 冯志兰,刘桂芬,刘力生,郝建生;缺失数据的多重估算[J];中国卫生统计;2005年05期

7 黄华东;方小勇;陈政;洪俊;黄樱;;一种基于RBF的时序缺失数据修复方法[J];怀化学院学报;2013年05期

8 张亚萍;陈得宝;侯俊钦;杨一军;;朴素贝叶斯分类算法的改进及应用[J];计算机工程与应用;2011年15期

9 王凤梅;胡丽霞;;一种基于近邻规则的缺失数据填补方法[J];计算机工程;2012年21期

10 张赤;丰洪才;金凯;杨婷;;基于聚类分析的缺失数据最近邻填补算法[J];计算机应用与软件;2014年05期

相关会议论文 前1条

1 管河山;姜青山;Steven X.Wei;;一种处理缺失数据的新方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

相关博士学位论文 前1条

1 马友;基于QoS缺失数据预测的个性化Web服务推荐方法研究[D];北京邮电大学;2015年

相关硕士学位论文 前7条

1 朱建斐;数据集缺失数据恢复算法研究[D];西安电子科技大学;2015年

2 姜瑶;基于缺失数据的系统辨识方法研究及相关软件设计与实现[D];东南大学;2016年

3 陈慧佳;基于Random Forest的缺失数据补全策略研究[D];南昌大学;2016年

4 张赤;基于聚类分析的缺失数据填补算法研究[D];武汉轻工大学;2013年

5 沈雪;基于贝叶斯方法的缺失数据补全研究[D];重庆大学;2011年

6 杨贺;基于Active Learning的数据修复补全策略研究[D];南昌大学;2014年

7 朱彦君;基于张量分解的缺失数据插补算法的研究[D];杭州电子科技大学;2014年

，

本文编号：2063735