基于深度学习的任务型对话系统的设计与实现
【文章页数】:76 页
【学位级别】:硕士
【部分图文】:
图2-2循环神经网络结构??图2-2所示的是一个单层单向的Vanilla?RNN,左侧是RNN的实际网络流,??
并根据后续的输入不断更新隐状态。Vanilla?RNN基本结构是将网络的输出作为??隐状态,这个隐状态和下一时间步(timestep)的输入一起输入到神经网络中,??构成循环结构。网络的具体结构如图2-2所示:??h,?^2?K??^?\?\?]??丫?T?T?"??图2-2循环....
图2-3LSTM网络结构【45]??
从序列中提取更有效的输入。遗忘门控制记忆对于输出的影响,从而控制历史输??入对于输出的影响。输出门则控制更新后的记忆对于输出的影响。具体的网络结??构如图2-3所示:?????????r?(?h?r?i??a?uMMA?.??v?????-J?v?????r?r?T??@?@?(....
图2-4GRU网络结构【46!??GRU的解析式如下:??z,?=?cr(ffr.x,+"z"7,?一丨)
?=z,*V,+(l-z,)*/i;?(2-19)??通过对比图2-3和图2-4可知,GRU和LSTM的网络结构相似,但是也存??在明显的差异。LSTM和GRU的主要区别在于:??(1)?GRU通过重置门(Reset?Gate)控制之前的隐状态的输入量;??(2)
图2-5卷枳神经网络结构??2.5
?卜??xt??图2-4GRU网络结构【46!??GRU的解析式如下:??z,?=?cr(ffr.x,+"z"7,?一丨)?(2-16)??rt?=〇-(Wr*xl?+t/r??/?,_,)?(2-17)??ht?=?tanh(^?x,?+?rt?)?(2-18)??h,?=z,....
本文编号:3942240
本文链接:https://www.wllwen.com/kejilunwen/shengwushengchang/3942240.html