面向大规模知识库的开放域问题生成技术研究
【文章页数】:62 页
【学位级别】:硕士
【部分图文】:
图2.4所示,其中V表示第/(e??N)个堆叠块的输出结果
MASTER'S?THESIS??构成,本质也是一个Encoder-Decoder的结构,在十多个自然语言处理任务中获??得突破,这也证明了?Attention机制的有效性,本文也将其融入到QG任务中。最??初,Transformer用于机器翻译任务,随着其有效性,如今逐步代替主....
图3.3基于Attention-Copy机制的解码层结构??与编码端一致,解码端也基于LSTM进行解码
??y.i?-???'(?i??'?一丨???一一一一???、?l?l?:???1?a?—r???Decoder?Selectiver^^???(X)^?““????Readfcr?Lj?—?LSTM???(?Attention'??y_J?^??MPMamb?oddSodo??....
图4.1本章模型框架??33??
Cj^k}项士学位论文??MASTER'S?THESIS??并且还使用BERT预训练模型获得词语的语义表示。与Seq2Seq模型结合,从而??较好的解决三元组所缺乏的上下文信息,以获得更准确的潜在语义,使得模型生??成的问题更加丰富流畅。??4.2模型结构??本节将介绍基于Gra....
图4.2所示的网络块中堆叠L次,在输入残??差网络之前进行拼接
基于Transformer结构,在全局图的背景语义下进一步捕捉主语实体、关系、宾??语实体之间的关联,使作为输入的三元组具有更加符合本任务的语义粒度表示。??Vaswani等人提出的Transformer结构,通过全局上下文建模的多头自注意力机制??来实现高效且并行的计算,具有并....
本文编号:3897394
本文链接:https://www.wllwen.com/kejilunwen/shengwushengchang/3897394.html