融合上下文信息的文本分类算法的研究及应用

发布时间：2024-11-01 23:38

　　文本分类任务作为文本挖掘的核心,已成为自然语言处理领域的一个关键问题。面对互联网上的文本资源爆炸式增长的趋势,如何有效的利用文本数据,挖掘其背后的商业价值和研究价值,具有非常重要的意义。在此背景下,本文以序列型文本数据作为研究对象,提出了两种融合上下文信息的文本分类算法。近年来,深度学习技术在特征提取和表示方面已经有了很大进展,且在大多数自然语言处理任务中获得了令人满意的成果。但是,结合国内外研究现状,在目前对深度学习的研究中,大多数的文本分类算法没有考虑到文本的上下文句子信息,并将其作为额外信息的补充利用,然而,如果给出一个没有任何语境的句子,即使人为的判断类别也有一定的困难。针对以上问题,本文提出了两种分类算法,一种是基于CNN的注意力机制融合上下文信息的文本分类算法,另外一种的基于BLSTM的注意力机制融合上下文信息的文本分类算法,通过从句子层面和词层面分别设计的注意力结构将上下文信息融合进最终的特征表示中,增加了特征信息的多样性。同时为了验证两种算法的可行性,本文首先使用了开源对话数据集进行实验,验证了两个模型在时间效率和准确性方面各自的优势,然后将分类模型应用于电网故障案例文本...

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

?第二章相关理论与技术???２．２．１卷积神经网络??卷积神经网络作为多层网络模型，是一种人工神经网络，由于卷积神经网??络在语音和图像识别领域己经被成功训练且取得了巨大突破，使其已经成为一个??热门的研究点。卷积神经网络的核心特色是是：局部连接、权值共享和下采样这??三种思想的....

ＬＳＴＭ在处理文本向量序列数据时，能够从一定程度上体现文本数据上下文之间??的抽象语义关系。这主要依赖于它引入了门机制用于控制特征的流通和损失。??ＬＳＴＭ是由一系列的ＬＳＴＭ单元组成，其链式结构如下图２－２［？］：??＠?＠?＠??ｔ?ｔ?ｔ??／?Ｎ?＾?ｒ??Ａ?隊?Ａ?＋....

ＬＳＴＭ在处理文本向量序列数据时，能够从一定程度上体现文本数据上下文之间??的抽象语义关系。这主要依赖于它引入了门机制用于控制特征的流通和损失。??ＬＳＴＭ是由一系列的ＬＳＴＭ单元组成，其链式结构如下图２－２［？］：??＠?＠?＠??ｔ?ｔ?ｔ??／?Ｎ?＾?ｒ??Ａ?隊?Ａ?＋....

Ｃｔ?＝?ｆｔ＊?Ｃｔ＿ａ?＋?ｉｔ＊Ｃｔ?（２?－?１０）??其中ｔａｎｈ激活函数的曲线图［４３］如下图２－４：??１．０?■????０．５?－／??．－??；??！??＜?Ｉ?？?？?？?Ｉ?？?ｔ?１?１?．?．?．?１?Ｉ?？?？?ｔ?．?Ｉ??－１０?－５?ｒ?５?１０....

本文编号：4008675