分布式变分贝叶斯算法及其应用

发布时间：2020-04-08 06:06

【摘要】：随着现代通信技术、嵌入式系统、分布式计算系统的蓬勃发展,传感器网络上的分布式信息处理受到了越来越广泛的关注。为实现传感器网络上更加可靠更加鲁棒的信息处理,完全去中心化的分布式处理机制逐渐被提出。在本文,我们考虑网络中的各节点使用自身采集的数据进行局部计算,并且与邻居节点进行少量的信息交换,从而实现完全去中心化的分布式信息处理。在当前的分布式信息处理的算法研究中,数据建模主要分为两种模式:频率建模和贝叶斯建模。基于频率建模的分布式算法已被广泛研究,而基于贝叶斯建模的分布式算法则相对较少。一方面是由于贝叶斯模型本身相较于非贝叶斯模型会更复杂,研究的难度更高;另一方面是由于贝叶斯模型中的参数估计和推断问题往往是非常困难的。虽然存在困难,但贝叶斯建模具有许多优点。首先,贝叶斯方法基于概率论能够对模型结构、参数和数据噪声的不确定性进行建模。其次,通过贝叶斯法则我们能够推断未知参数、调整模型、从数据中学习并作出预测。关于分布式贝叶斯学习的研究具有很高的学术和应用价值。然而在贝叶斯学习中,后验概率的计算通常存在困难。一种经典且广泛使用的近似方法是变分贝叶斯。本文针对网络上的贝叶斯学习问题,系统地研究了分布式变分贝叶斯算法及其在联合稀疏信号恢复、鲁棒卡尔曼滤波和扩展目标跟踪问题中的应用。具体地,针对贝叶斯框架下的分布式推断/估计问题,本文提出了两种通用的分布式变分贝叶斯算法,可适用于一大类共轭指数族模型。我们基于概率空间的黎曼几何,将关于概率分布的优化问题转化关于自然参数向量的优化问题。然后基于随机自然梯度和扩散策略,以及基于交替方向乘子法(ADMM),分别对优化问题进行求解。我们将这两种算法应用于贝叶斯高斯混合模型的分布式推断/估计问题中。仿真结果表明,本文提出的分布式算法具有与相对应的集中式算法相接近的性能。针对分布式联合稀疏信号恢复问题,本文提出了一种基于量化通信的联合稀疏贝叶斯学习算法。在以往的工作中,一般假设节点间的传输数据是实值的并且具有无限精度。但实际情况下,由于传感器网络具有有限的通信带宽和信道容量,对传输数据进行数字量化不可避免。本文考虑传输数据是被量化的。我们建立了一个完全层次联合稀疏贝叶斯学习模型,并提出一个新的分布式变分贝叶斯算法,其节点间仅交换量化数据。我们从理论上分析了该量化分布式算法的收敛性。仿真实验表明,量化分布式算法甚至比相对应的非量化分布式算法和集中式算法具有更好的信号恢复性能。针对分布式卡尔曼滤波问题,本文考虑了过程和量测噪声的协方差都是未知的情况,提出了一种分布式且在线的鲁棒卡尔曼滤波算法。我们引入了一个改进的状态空间模型并提出了相应的贝叶斯模型。该模型能够处理野值和重尾噪声,并且能提高卡尔曼滤波器的鲁棒性。使用此模型,我们通过变分贝叶斯方法推导了集中式的鲁棒卡尔曼滤波。然后使用ADMM方法将其扩展到分布式场景下。仿真实验表明,当测量数据或目标状态存在野值时,该分布式鲁棒卡尔曼滤波算法比标准的卡尔曼滤波算法性能好得多。针对目标跟踪问题,传统的方法一般假设目标是一个点目标。在本文,我们考虑目标是具有一定空间结构的物体,其不仅包括运动状态还包括物体的轮廓。针对传感器网络中的扩展目标跟踪问题,我们提出一种分布式贝叶斯模型。基于该模型,我们先通过变分贝叶斯方法推导了一个集中式的扩展目标跟踪算法,然后基于ADMM提出了相应的分布式算法。该算法能够同时估计扩展目标状态(运动状态和轮廓)以及量测噪声协方差。最后,仿真实验表明,该算法在扩展目标跟踪和群目标跟踪两个场景下都有上佳的性能表现。
【图文】：

网络拓扑图,网络拓扑图,集中式处理,节点

在传统的集中式处理机制中，一般需要一个具有强大计算能力和数据存储能力的中心逡逑节点（中央处理点），它能够采集并存储传感器网络中所有节点的观测数据，并进行信息逡逑处理。如图１．１所示，由于传感器节点自身能量和带宽的限制，其通信范围受限，需要通过逡逑多跳的方式才能把观测数据传输到中心节点。这种集中式处理方式所需要的通信量较大，逡逑每个传感器节点的通信耗能高，因而会降低节点的使用寿命。此外，当某个节点失效或者逡逑通信链路出现故障时，这种集中式处理方式将易受到影响，网络的鲁棒性较差。由于各节逡逑点都将原始数据传送到一个中心节点上，数据的隐私性无法得到保证，因此无线传感器网逡逑络的可靠性较差。逡逑与传统的集中式处理相比，一种更可靠更鲁棒的方式是分布式信息处理。这种分布式逡逑处理不需要一个具有强大计算能力的中心节点。在这种模式下，网络中的各节点使用自身逡逑采集的数据进行局部计算，并与邻居节点相互通信，交换少量的数据信息。传感器节点组逡逑成网络后

示意图,节点,网络拓扑图,原始数据

定义１（图，节点，边）．一个大小为ｉＶ的网络表示为包括ｉＶ个节点的图。一系列的边将节点逡逑与节点相互连接。一个连向自身节点的边称为自环。通过边相连的节点称为邻居节点。逡逑图１．２给出了一个分布式信息处理的网络拓扑示意图。分布式信息处理是完全去中心逡逑化的，每个节点只与邻居节点通信并交换信息，并不会通过多跳通信的方式将信息传递到逡逑非邻居节点。本文考虑连通的传感器网络。对于一个连通网络，总是存在一条路径能够连逡逑接网络中的两个节点：即两个节点或者是通过一条边相连接，或者是通过经过中间节点的逡逑路径相连接。因此，虽然节点未直接与非邻居节点通信，但由于网络是连通的，通过一定逡逑的信息交换机制，节点可以借助其邻居节点将自身信息扩散到其他非邻居节点，同时该节逡逑点也可以获取来自非邻居节点的信息。逡逑分布式信息处理就是在这种完全去中心的网络中进行感知计算。一个设计良好的分布逡逑式算法能够获得与集中式算法接近的性能，同时保留所有网络中分布式计算的优势。总结逡逑一下，与集中式处理机制相比，分布式处理机制有如下四个优点：逡逑１）网络通信量小。逡逑在传统的集中式处理机制中
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP212.9

【参考文献】