基于多粒度序列注意力机制的短文本分析

发布时间：2021-07-12 12:33

　　随着互联网的飞速发展,海量数据不断更新,数据的类型多种多样,其中文本是最直接和最常见的组织形式之一。挖掘文本的有效信息可更快速、准确地了解人们的观点和情感倾向等内容,有利于人们掌握市场动态、社会舆情、网络安全态势等。技术日趋成熟,人们期望能够让机器像人类一样思考,让它可以在诸多文本中过滤掉冗余信息,将核心内容合理地组织、呈现出来。随着生活节奏的逐步加快,越来越多像简讯、评论等字符数量较少的“快餐式”信息涌入生活中,如何快速准确地从大量短文本信息中获取有价值的信息是值得人们深思。因此,本文尝试模拟人类的认知过程并结合多粒度的思想,提出了一种基于多粒度序列注意力机制的短文本分析方法,主要研究如下:1.提出一种基于序列注意力机制的卷积神经网络对URL进行异常检测。该模型用于检测网络中的异常流量。URL全称统一资源定位符,是由一些列字符组成的用于向服务器请求资源的标识符,其具有一定的语义信息并且组成它的字符数量相对较少,它是属于短文本的一种。针对该问题提出了由五层网络组成的检测模型,首先,使用word2vec对URL进行编码,然后使用卷积进行特征自学习,与此同时添加了一个外部语言模型来帮助模型... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

文本分类的框架

图 2.1 基于注意力机制的机器翻译词汇对照结果给定的目标语句为 X ，期望通过Encoder-Decoder框架得到的输中句子 X 和Y 的语种并无限制，可以是同语种或跨语言的，输示为 ( ,)mX =x x x1 2；输出的句子为 ( ,)nY =y y y1 2。传统的编图 2.2 所示，Encoder过程是对输入语句进行编码，得到中间过( , ) ( ,)m n= F x x x =c c c1 2 1 2；而 Decoder 则根据语义结果转化得到就是要输出的句子 ( ,)nY =y y y1 2。

图 2.3 引入Attention 模型的Encoder-Decoder 框架制在很多的具体模型中均有应用，如下图 2.4 所示ent Neural Network RNN)结合 机制使用Enseq2seq 基本模型，在编码和解码的两部分分别采用了图 2.4 RNN的seq2seq基本模型框架不同应用中设计是不同的，学者根据研究目标利用新分配。尝试将 抽象为一个易于理解的大

【参考文献】：
期刊论文
[1]粒计算研究综述[J]. 王国胤,张清华,胡军.  智能系统学报. 2007(06)
[2]使用最大熵模型进行中文文本分类[J]. 李荣陆,王建会,陈晓云,陶晓鹏,胡运发.  计算机研究与发展. 2005(01)



本文编号：3279922