当前位置:主页 > 科技论文 > 自动化论文 >

深层结构中的属性自动开关

发布时间:2021-12-17 21:32
  由于深层结构具有对数据的良好表征能力,近年来它被广泛的应用于众多领域。属性是被用来描述数据的一种特殊数据类型,目前也被成功用于提升很多任务的性能。然而,将属性引入深层结构是复杂而且具有挑战的,因为深层结构中的不同层表征着不同抽象层次的特征,而属性本身天然地表征着数据的不同抽象层次。这样一来,就要求我们必须通过仔细考察属性和深层结构层次之间的关系将二者适应性的进行联合建模。以往的研究工作通常不考虑二者的抽象层次,只是将属性作为与原始数据特征一样的数据直接引入到深层结构中,与之不同的是,本文的工作通过考察二者抽象概念层次间的关系,合理地将属性连接到深层结构的对应层次上,从而能够更好的利用属性中蕴含的信息,具体工作如下:1.本文提出了一种能够将属性数据自动连接至深层网络中合适层次的基于能量的模型。该模型能够对属性数据和深层网络进行统一建模,并通过引入一个可学习的开关矩阵来控制属性数据连接至合适的网络层次。基于该基础模型,还提出了两种扩展模型,其中一种是将卷积操作直接综合到模型的能量函数中,另一种是将卷积神经网络中间层的输出作为该基础模型的输入,从而将两个模型堆叠起来得到新的模型。2.本文提出... 

【文章来源】:清华大学北京市 211工程院校 985工程院校 教育部直属院校

【文章页数】:59 页

【学位级别】:硕士

【部分图文】:

深层结构中的属性自动开关


深度学习概览

对象,技术,模型,生成模型


深度学习是近些年机器学习领域的一大突破,相比于传统机器学习中的浅层模型,深度学习的模型一般由多个数据处理层叠加组成,它能够从原始数据中学习得到多层次的抽象表征[20]。深度学习发展至今,已经演化出众多模型,它们已经被成功地应用于语音识别、物体识别、物体检测以及很多其它领域,例如医药和地理。深度学习的一大核心就是反向传播算法[21],这一算法能够根据模型的预期输出与实际输出之间的差别,逐层调整网络中的参数,从而使得网络能够更好地表征数据,最终更好地完成目标任务。目前,从模型的角度来看,深度学习主要分为判别模型和生成模型(如图2.2所示),其中判别模型可分为深度神经网络(Deep Neural Network,DNN)、卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)三大类;生成模型可以分为基于能量的模型、变分自动编码器(Variational Auto Encoder,VAE)和生成对抗网络(Generative Adversarial Net,GAN)三大类。本小节将对深度学习中的这些主要模型进行归纳概述,并简单介绍其应用方向。图2.2深度学习概览

示意图,神经网络,示意图,隐藏层


循环神经网络(Recurrent Neural Network,RNN)是专门用于处理序列数据的,它的基本构成如图2.3所示,在时刻t,该网络接受来自训练数据的xt和网络的隐藏层状态ht-1,产生t时刻新的隐藏层状态ht。不同RNN的区别主要在如何产生每个时刻的输出和隐藏层状态,而总体的网络结构基本不会发生变化。长短期记忆[28](Long Short-Term Memory,LSTM)和开关循环单元(Gated Recurrent Unit,GRU)是两种常用的通过开关机制控制信息在RNN内部流动的方式。基于LSTM或GRU可以构建更加复杂的编码解码器(Encoder-Decoder)模型,它可以将一个序列数据通过编码器编码,再经过解码器解码形成新的序列数据,常用于机器翻译领域。带注意力机制的编码解码器(Attention Encoder-Decoder)能够在解码的过程中通过注意力机制只关注对当前时刻最有用的信息,该模型也常被用于机器翻译。2.1.2 生成模型


本文编号:3540982

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3540982.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户680e2***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com