基于投影寻踪和MapReduce的并行案例推理模型

发布时间：2018-07-07 07:02

  本文选题：案例推理 + 投影寻踪　； 参考：《计算机应用研究》2017年02期

【摘要】：在大规模、高维度的数据环境下,传统的案例推理具有计算复杂度高、实时性差等缺点。为在大数据环境下进行案例推理,提出了一种基于投影寻踪和MapReduce的并行推理模型dp CBR。在数据预处理阶段,计算源案例到基准向量的一维投影距离并缓存,降低计算复杂度并减少重复计算开销;在案例检索阶段,先根据投影距离裁剪案例库,再进行相似度匹配,减少不必要的案例匹配开销。应用MapReduce进行分布式并行处理,使dp CBR具备对大规模案例库的推理能力。实验结果表明,dp CBR模型可以明显提高大数据环境下案例推理的效率。
[Abstract]:In large scale and high dimensional data environment, traditional Case-Based reasoning (CBR) has the disadvantages of high computational complexity and poor real-time performance. In this paper, a parallel reasoning model based on projection pursuit and MapReduce is proposed for case-based reasoning in big data environment. In the data preprocessing stage, the one-dimensional projection distance from the source case to the datum vector is calculated and cached, which reduces the computational complexity and reduces the cost of repeated computation. In the case retrieval stage, the case base is clipped according to the projection distance, and then the similarity matching is carried out. Reduce unnecessary case matching overhead. Using MapReduce for distributed parallel processing, DP CBR has the ability of reasoning large scale case base. The experimental results show that the dp CBR model can significantly improve the efficiency of CBR in big data environment.
【作者单位】： 西北工业大学计算机学院;
【基金】：国家部委预研基金资助项目(513150703);国家部委基金资助项目(9140A15090114HK03)
【分类号】：TP181

【参考文献】

相关期刊论文 前9条

1 潘丽芳;杨炳儒;;基于簇的K最近邻(KNN)分类算法研究[J];计算机工程与设计;2009年18期

2 印鉴;谭焕云;;基于χ~2统计量的kNN文本分类算法[J];小型微型计算机系统;2007年06期

3 李锋刚;倪志伟;杨善林;黄玲;;案例推理中属性约简及其性能评价[J];清华大学学报(自然科学版);2006年S1期

4 李莹,张晓辉,王华勇,常桂然;一种应用向量聚合技术的KNN中文文本分类方法[J];小型微型计算机系统;2004年06期

5 李荣陆,胡运发;基于密度的kNN文本分类器训练样本裁剪方法[J];计算机研究与发展;2004年04期

6 王壮,胡卫东,郁文贤,庄钊文;一种基于近邻搜索的快速k-近邻分类算法[J];系统工程与电子技术;2002年04期

7 李祚泳;投影寻踪技术及其应用进展[J];自然杂志;1997年04期

8 徐明;胡守仁;;基于事例推理的检索模型研究[J];计算机科学;1993年04期

9 王煜;白石;王正欧;;用于Web文本分类的快速KNN算法[J];情报学报;2007年01期

【共引文献】

相关期刊论文 前10条

1 马瑶;;基于组合权重的灰色关联投影法的立交方案综合评价[J];城市道桥与防洪;2017年03期

2 刘杰;戈军;沈微微;王学军;;物联网的光学传输网络邻居节点快速发现方法[J];激光杂志;2017年01期

3 李涛;刘斌;;Spark平台下的高效Web文本分类系统的研究[J];计算机应用与软件;2016年11期

4 沈跃;徐慧;刘慧;李宁;;基于K-means和近邻回归算法的Kinect植株深度图像修复[J];农业工程学报;2016年19期

5 谭学清;张磊;周通;罗琳;;一种基于聚类密度的文本分类算法研究[J];图书馆学研究;2016年13期

6 莫崇勋;钟欢欢;王大洋;杨庆;孙桂凯;;基于模糊集对评价法的广西各城市洪涝易损性分析[J];水电能源科学;2016年06期

7 高阳;木合塔尔·艾尔肯;;前后缀字母作特征在维吾尔语文本情感分类中的应用[J];昌吉学院学报;2016年03期

8 吴彬林;梁磊;张彪;缪杨帆;李川;;机场服务信息抽取方法研究[J];现代计算机(专业版);2016年17期

9 吴e，

本文编号：2104183