分布式信息论学习

发布时间：2017-12-06 09:34

  本文关键词：分布式信息论学习

  更多相关文章： 分布式处理 信息论学习 参数估计 聚类 向量量化 度量学习

【摘要】：近年来,由于传感器网络、分布式计算系统等分布式应用的蓬勃发展,分布式的信息处理受到了越来越多的研究者的关注。对于不同的分布式应用而言,分布式的信息处理是一个共性的科学研究问题。不同的分布式应用在系统架构上都可以抽象为一个由多个具有计算能力和通信能力的节点所组成的网络。在本文考虑的分布式信息处理机制中,网络上的每个节点不仅利用自身的计算能力和数据进行局部计算,还与邻居节点进行局部的信息交互,从而实现完全去中心化的但又具有全局意义的信息处理。当前已有很多基于这种处理机制的分布式算法被提出来。相关的研究内容覆盖了各类信号处理问题和机器学习问题。在这些分布式算法中,大都是基于数据相关的二阶统计量来定义目标函数。但是当分布式环境中存在非高斯噪声或者需要处理的数据的分布较为复杂时,二阶统计量将不能充分的利用数据中的有效信息。针对这些情况,本论文基于信息论测度来为分布式学习问题设计目标函数。信息论测度能够从数据的整体分布出发,综合利用更高阶的数据统计信息,从而带来学习性能的提升。但由于分布式场景中的一些约束与限制,在引入信息论测度时会遇到困难。分布式信息论学习在以往的文献中还未见报道。我们针对分布式环境中三类主要的学习问题,即监督学习、无监督学习、半监督学习开展了系统的研究,克服了其中的难点,并提出了相应的有效的分布式信息论学习算法。具体地,本文针对属于监督学习的分布式参数估计问题,提出了基于最小化误差熵的分布式估计算法。我们在误差熵的估计上使用了两种不同的且容易计算的熵估计器,即二次Renyi熵估计器与香农熵界估计器,从而推导出了两种不同的分布式信息论估计算法。在算法中,节点间通过传递参数的估计值来进行协同学习。仿真结果表明,在非高斯噪声下,本文提出的分布式估计算法比分布式的最小均方误差估计算法有更高的估计精度。本文针对属于无监督学习的分布式聚类问题,提出了基于最大化互信息的分布式聚类算法。在算法中,我们采用参数化的判别函数来对类间边界进行建模,并基于判别函数来估计互信息。节点间通过传递判别函数的参数来进行协同学习。我们在合成数据和真实数据上测试算法的聚类性能。仿真结果表明,本文提出的分布式聚类算法得到的聚类结果接近于相应的集中式信息论聚类算法得到的结果。当数据的分布较为复杂时,本文提出的算法的聚类结果比分布式的K-means算法得到的结果更为理想。此外,本文针对另一个属于无监督学习的分布式向量量化问题,提出了基于最小化KL散度的分布式量化算法。在算法目标函数设计中,我们在散度的类型和方向上进行了细致的考虑和选择,从而使得推导出的分布式算法能够让每个节点以在线的方式协同学习到接近于集中式处理结果的重建向量。仿真结果也表明,当数据中存在较多野值时,本文提出的分布式量化算法比分布式的LBG算法和分布式的SOM算法的量化性能更好。本文针对半监督的分布式度量学习问题,提出了基于信息论测度的分布式度量学习算法。我们基于两种常用的分布式合作策略推导出了两种分布式半监督度量学习的框架。特别地,通过借鉴集中式的SERAPH算法来设置分布式度量学习框架中的损失函数及正则项,我们得到了两种基于信息论测度的分布式度量学习算法。仿真实验显示了这两种算法与集中式的SERAPH算法能学习得到接近一致的度量矩阵。这说明了本文提出的两种算法是在无法进行集中式的半监督度量学习时的一个理想的分布式近似。
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TN911.2

【相似文献】

中国期刊全文数据库 前10条

1 徐亚非;分布式信息监管体系[J];计算机安全;2004年05期

2 大千;分布式信息检索[J];国家图书馆学刊;2004年02期

3 梁小芝,阳小华;万维网分布式信息收集机器人的最佳作用范围划分[J];中南工学院学报;2000年03期

4 陆渝;杨斌;王连东;;企业网中分布式信息检索查询系统的实现[J];石油工业计算机应用;2001年02期

5 徐炜,高敬瑜,徐汀荣;移动agent在分布式信息查询业务中的应用[J];南通纺织职业技术学院学报;2005年02期

6 双林平;;分布式信息检索技术探析[J];图书馆学刊;2012年04期

7 曲卫红;;基于移动agent的分布式信息检索的研究[J];现代情报;2006年01期

8 杨建伟,杜艳平,孙健;分布式信息共享技术的研究[J];太原重型机械学院学报;2004年03期

9 贺凌云;李明哲;;高速公路网分布式信息报送系统的设计[J];现代电子技术;2013年07期

10 杨则正;分布式信息管理系统[J];管理科学文摘;1994年10期

中国重要会议论文全文数据库 前1条

1 张刚;周昭涛;王斌;;基于主题的分布式信息检索研究[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年

中国博士学位论文全文数据库 前3条

1 沈鹏程;分布式信息论学习[D];浙江大学;2016年

2 冯锡炜;分布式信息资源主动发现模型研究与应用[D];大连海事大学;2010年

3 何川;分布式信息检索中的若干重要问题研究[D];北京邮电大学;2012年

中国硕士学位论文全文数据库 前10条

1 刘华普;基于现场总线的分布式信息融合算法及其应用[D];郑州大学;2007年

2 刘永强;分布式信息协同交互模型在企业信息系统中的应用研究[D];中南大学;2003年

3 陈莉勤;分布式信息检索中移动Agent技术的应用研究[D];武汉理工大学;2008年

4 陈智星;利用.NET技术构建企业分布式信息流支撑系统[D];大连海事大学;2005年

5 许王建;分布式信息管理系统的设计与实现[D];华中科技大学;2010年

6 周杰;基于XPCOM的分布式信息交流系统的设计与实现[D];西安电子科技大学;2011年

7 李俊;可确保安全的分布式信息共享系统—设计与实现[D];上海交通大学;2007年

8 陈斌;分布式信息检索结果融合算法的研究及实现[D];华南理工大学;2011年

9 张真;基于Ontology的分布式信息检索技术研究[D];中国海洋大学;2006年

10 刘明;基于移动Agent和最优搜索的分布式信息检索系统研究[D];电子科技大学;2013年

，

本文编号：1258150