贝叶斯深度网络的不确定性分析

发布时间：2020-12-22 18:59

　　随着人工智能时代的来临,深度学习技术不断推陈出新。在计算机视觉领域,深度网络的使用日益广泛。但当前深度学习技术发展面临的挑战有二:一是其网络架构中缺少对预测结果的不确定性度量,从而在实际应用中常因模型过于自信的表现导致决策失误。二是现实生活中高质量且有标记数据的获取成本较高,而深度学习依赖大量的训练数据。本文直面上述挑战,开展贝叶斯深度网络的理论研究,并将其付诸实践,分别在图像去噪任务和图像分类任务上进行实验。论文的主要结果如下:(1)从数学角度出发,系统且详细地推导了贝叶斯深度网络的理论框架。(2)为了理解模型中的不确定性信息,本文分别基于认知不确定性、偶然不确定性、混合不确定性设计贝叶斯深度网络并展开去噪实验。实现了深度去噪模型输出干净图像的同时给出不确定性的示意图,从而指导后续优化方向。对比传统网络,建模后的网络模型的精度都得以提高。(3)本文结合主动学习框架与贝叶斯深度网络,旨在实现少量标记数据训练出高精度的模型。基于不确定性理论推导适用贝叶斯深度网络的最大熵采集函数、交互信息采集函数以及最大变化率采集函数并做对比实验。与确定性的主动学习深度网络相比,贝叶斯主动学习深度网络的可... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：55 页

【学位级别】：硕士

【部分图文】：

dropout示意图

哈尔滨工业大学理学硕士学位论文-10-图2-3普通神经网络（左）与贝叶斯神经网络（右）示意图对于分类问题，令softmax似然模型为："exp,expwdwddfxpydxwfx对于回归问题，似然模型表示为：1,;,IwpyxwyfxN其中，模型精度。通过积分预测新的输入数据*x的输出：****pyx,X,Ypyx,wpwX,Ydw参数空间的后验估计的难点在于计算pYXpYX,wpwdw。理论上可用微积分来进行计算，但实际生产生活中很难将其实现[39]。贝叶斯神经网络实际建模过程中面临的困难可以概括为三点：(1)神经网络参数众多计算难以实现。(2)无法适应大规模数据集。(3)难以处理高维数据。因此，模型的后验概率需要一个近似值。2.4.2变分推断变分推断(VariationalInference)[22]是一种用于解决复杂推断计算问题的机器学习方法。旨在通过优化方法解决在给定观测变量的情况下近似潜在变量的条件概率。具体而言，给定一个数族，变分推断旨在得到该数族中某些复杂目标的概率分布的最优近似解。推断问题是在给定观测值的情况下计算潜在变量的条件概率pzx.此条件概率可产生潜在变量的点估计，形成新数据的预测结果。所谓潜在变量包括贝叶

基于认知不确定性的网络架构图

【参考文献】：
期刊论文
[1]基于反应扩散和非局部自相似的图像去噪算法[J]. 莫佩基,雷宏.  计算机与现代化. 2018(06)
[2]基于MRF与引导滤波的声纳图像去噪方法[J]. 李雪峰,姜静,李岩,田宇.  海洋技术学报. 2017(05)
[3]主动学习算法研究进展[J]. 杨文柱,田潇潇,王思乐,张锡忠.  河北大学学报(自然科学版). 2017(02)
[4]卷积神经网络研究综述[J]. 李彦冬,郝宗波,雷航.  计算机应用. 2016(09)
[5]大数据下的机器学习算法综述[J]. 何清,李宁,罗文娟,史忠植.  模式识别与人工智能. 2014(04)

硕士论文
[1]基于主动学习的高光谱图像分类[D]. 杨承文.浙江工业大学 2019
[2]基于多类分类的主动学习改进算法[D]. 田潇潇.河北大学 2017



本文编号：2932257