基于位置注意力机制的字词双维度卷积神经网络违法违规行为语义分类模型

发布时间：2022-01-26 01:50

　　针对核辐射安全监管部门检查建议所含违法违规行为自动识别并分类难的问题,建立语义分类自动研判模型,辅助有关部门丰富智能化管理体系,依靠数据进行科学决策,实现监管效率及质量的有效提高。将词和字符两个不同嵌入级别的特征向量输入到双路卷积神经网络中,并引入语义位置注意力机制,建立基于字词双维度语义分析的违法违规研判模型。该方法不仅能够有效防止信息丢失,还能提取出更丰富的文本特征,强化领域关键词汇对分类准确率的帮助。实验结果表明本文建立的模型优于传统语义分类模型,能够有效提高分类准确度。 

【文章来源】：科学技术与工程. 2020,20(25)北大核心

【文章页数】：6 页

【部分图文】：

CBOW与skip-gram模型示意图

卷积神经网络包括一个或多个卷积层和池化层。每个卷积层由一组具有可学习权重和偏差的神经元组成。每个神经元都用一些输入进行非线性运算,旨在从大量样本中自动学习复杂,高维,非线性映射的特征[8]。现提出一种基于位置感知注意力机制的双维度CNN句子分类模型。首先将文本输入按照词语和字符两种级别进行分词,并使用word2vec进行向量化,然后对特征向量分别卷积,对卷积层的输出进行最大值池化,之后全连接两路池化信息得到输出。模型整体结构如图2所示。2.1.1 输入层

传统LSTM注意力机制模型中,词语的注意力权重依赖于隐层表示,机制模型如图3所示。该模型没有考虑位置信息,现将位置感知影响力与传统注意力机制结合,突出关键词的重要性,位置感知注意力机制模型如图4所示。

【参考文献】：
期刊论文
[1]Text-CRNN+attention架构下的多类别文本信息分类[J]. 卢健,马成贤,杨腾飞,周嫣然.  计算机应用研究. 2020(06)
[2]基于卷积神经网络与随机森林算法的专利文本分类模型[J]. 胡杰,李少波,于丽娅,杨观赐.  科学技术与工程. 2018(06)
[3]基于注意机制编码解码模型的答案选择方法（英文）[J]. Yuan-ping NIE,Yi HAN,Jiu-ming HUANG,Bo JIAO,Ai-ping LI.  Frontiers of Information Technology & Electronic Engineering. 2017(04)
[4]基于卷积神经网络的微博情感倾向性分析[J]. 刘龙飞,杨亮,张绍武,林鸿飞.  中文信息学报. 2015(06)



本文编号：3609572