基于领域知识库的智能交通客服系统的研究与实现
发布时间：2020-12-21 21:34
随着交通运输行业与互联网技术的飞速发展,信息数据日益增加,人们的生活节奏日益加快。在交通客服领域内,人工客服的培训与管理成本较高且无法满足用户实时咨询的需求,传统的客服系统将不同的信息分布在各种部门信息门户下,该模式在获取时由于各类信息繁杂多样会导致效率非常低下,这种模式已经无法满足广大司机用户日益增长的高效获取信息的需求,因此智能交通客服系统的研究与实现迫在眉睫。本文设计并实现了一个准确率高且性能非常稳定的智能交通客服系统,该系统以微信公众号为平台,不仅解决了以往在网页上开发系统经常会出现加载缓慢的情况,而且统一了用户查询信息的入口,可以更加方便将用户所提出的问题进行汇总。在分析了国内外在对智能问答系统的研究之后,本文主要从领域知识库设计,意图识别,系统设计三个方面进行改进,在结合了具体的实际需求后完成了对实现智能交通客服系统的核心技术进行研究,本文的主要贡献及成果如下:（1）本文通过分析现有的四类智能问答系统的特点后发现这些智能问答系统都无法独立的帮助我们解决问题,在结合交通客服领域内用户的需求之后,设计了一种新型的问题答案对存储模式,提出了将领域知识库和常用问题答案对（Frequ...
【文章来源】： 何常爱 安徽大学
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
实体关系三元组
第二章相关理论与关键技术20图2.1GRU模型结构Fig2.1GRUmodelstructure基于深度学习模型的组合实现的意图识别算法[46]考虑到了各种深度学习模型的长处和短处。例如Convolutional-LSTM[51]是用CNN和LSTM相结合而得到一个用于识别用户消费意图的模型，Convolutional-LSTM意图是被模型既利用了CNN可以提取文本深层次的特征的特点也利用了LSTM可以学习上下文的语义信息的特点。Character-CNN-BGRU[52]是由CNN和BGRU（BidirectionalGatedRecurrentUnit）[36]相结合而得到的用于解决用户提出的问句为短文本数据而引起的数据稀疏问题[37]，Character-CNN-BGRU意图识别模型结合CNN可以提取文本深层次的特征的特点和BGRU可以确定用户所提问句的时序关系的特点，同时也结合使用了字符的方法。不过这些基于深度学习模型的组合实现的意图识别算法在训练模型时需要耗费大量的时间和算力。2.3BERT简介BERT是在大量的文本语料的基础上通过训练得到的一个可以通用的预训练模型。BERT是第一个用在自然语言理解任务上的不仅是无监督的而且是深度双向系统。BERT模型的基本组成原件是双向Transformer编码器，如图2.2所示就是用双向编码器组成的BERT的模型结构。图2.2中的文本输入用底层的1,2,…,来表示，当输入的文本1,2,…,在通过双向的Transformer编码器的处理之后，我们就能够得到输入文本的向量化表示1,2,…,在模型的最上层，也就是文本的向量化表示主要是经过双向的Transformer编码器后实现的。
安徽大学硕士学位论文21图2.2BERT的模型结构Fig2.2BERTmodelstructure在这里我们将seq2seq[39]模型结构简化为如图2.3所示的结构。实际上我们可以将Transformer[59]看成是一个由Self-attention实现的Seq2seq模型，而Seq2Seq在本质是一个基于由Encoder-Decoder[38]结构实现的模型。这个模型是以序列的格式进行输入，也以序列的格式进行输出，该模型中的Encoder[57]编码器会帮助我们把一个文本长度不确定的输入序列编码后变成为一个长度固定的向量，而模型中的Decoder[58]解码器实现了与Encoder截然相反的操作，它会把经过Encoder编码后形成的长度固定的向量解码成为一个不固定的输出序列。图2.3简化的seq2seq的模型结构Fig2.3simplifiedseq2seqmodelstructureTransformer最大的特点就是它的模型结构能够让它直接获取文本的全局信息。通常情况下，我们都是使用RNN来实现解决序列型问题时用到的Encoder-Decoder结构，但是RNN在实现的过程中需要逐步做递归操作，因此RNN就存在无法并行且运行速度慢的弊端，为了解决RNN存在的运算速度慢的情况，于是Transformer使用Self-E1E2ENT1T2TNTrmTrmTrmTrmTrmTrm............
本文编号：2930545
【文章来源】： 何常爱 安徽大学
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
实体关系三元组
第二章相关理论与关键技术20图2.1GRU模型结构Fig2.1GRUmodelstructure基于深度学习模型的组合实现的意图识别算法[46]考虑到了各种深度学习模型的长处和短处。例如Convolutional-LSTM[51]是用CNN和LSTM相结合而得到一个用于识别用户消费意图的模型，Convolutional-LSTM意图是被模型既利用了CNN可以提取文本深层次的特征的特点也利用了LSTM可以学习上下文的语义信息的特点。Character-CNN-BGRU[52]是由CNN和BGRU（BidirectionalGatedRecurrentUnit）[36]相结合而得到的用于解决用户提出的问句为短文本数据而引起的数据稀疏问题[37]，Character-CNN-BGRU意图识别模型结合CNN可以提取文本深层次的特征的特点和BGRU可以确定用户所提问句的时序关系的特点，同时也结合使用了字符的方法。不过这些基于深度学习模型的组合实现的意图识别算法在训练模型时需要耗费大量的时间和算力。2.3BERT简介BERT是在大量的文本语料的基础上通过训练得到的一个可以通用的预训练模型。BERT是第一个用在自然语言理解任务上的不仅是无监督的而且是深度双向系统。BERT模型的基本组成原件是双向Transformer编码器，如图2.2所示就是用双向编码器组成的BERT的模型结构。图2.2中的文本输入用底层的1,2,…,来表示，当输入的文本1,2,…,在通过双向的Transformer编码器的处理之后，我们就能够得到输入文本的向量化表示1,2,…,在模型的最上层，也就是文本的向量化表示主要是经过双向的Transformer编码器后实现的。
安徽大学硕士学位论文21图2.2BERT的模型结构Fig2.2BERTmodelstructure在这里我们将seq2seq[39]模型结构简化为如图2.3所示的结构。实际上我们可以将Transformer[59]看成是一个由Self-attention实现的Seq2seq模型，而Seq2Seq在本质是一个基于由Encoder-Decoder[38]结构实现的模型。这个模型是以序列的格式进行输入，也以序列的格式进行输出，该模型中的Encoder[57]编码器会帮助我们把一个文本长度不确定的输入序列编码后变成为一个长度固定的向量，而模型中的Decoder[58]解码器实现了与Encoder截然相反的操作，它会把经过Encoder编码后形成的长度固定的向量解码成为一个不固定的输出序列。图2.3简化的seq2seq的模型结构Fig2.3simplifiedseq2seqmodelstructureTransformer最大的特点就是它的模型结构能够让它直接获取文本的全局信息。通常情况下，我们都是使用RNN来实现解决序列型问题时用到的Encoder-Decoder结构，但是RNN在实现的过程中需要逐步做递归操作，因此RNN就存在无法并行且运行速度慢的弊端，为了解决RNN存在的运算速度慢的情况，于是Transformer使用Self-E1E2ENT1T2TNTrmTrmTrmTrmTrmTrm............
本文编号：2930545
本文链接：https://www.wllwen.com/kejilunwen/daoluqiaoliang/2930545.html
