多标签文本分类算法的研究与应用

发布时间：2021-09-25 15:08

　　近年来随着人工智能技术的发展,基于人工神经网络的深度学习理论在自然语言处理领域中取得了革命性的进步,已经衍生出了诸多应用与研究方向。多标签文本分类（MLC）任务作为自然语言处理的子任务之一,具有广泛的现实应用前景,例如文本分类、标签推荐、信息检索,等等。在研究与应用过程中,多标签分类任务与传统的多分类任务相比有着诸多共性,也有本质上的不同。本研究在分析并研究了前人研究工作的基础上,以文本信息、前导标签信息、待预测标签信息三者之间的关系为框架,归纳了目前前人的研究成果,并基于上述理论框架,讨论了目前以RNN或LSTM为基本编解码器的seq2seq多标签文本分类任务实现形式中梯度消失导致的三个问题:原始文本信息丢失、前导标签信息丢失、解码误差累积。在分析了相关研究工作的基础上,我们提出了一种改进型的多标签文本分类模型以缓解错误预测、标签重复与误差累积的现象。该模型采用多步多分类形式实现多标签文本分类预测,它采用前导标签与原始文本为输入,下一个待预测标签为输出的端到端结构形式。在原始文本信息与前导标签信息之间进行进行互注意力机制操作。前导标签对原始文本的注意力操作有利于缓解原始文本信息丢失,... 

【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：56 页

【学位级别】：硕士

【部分图文】：

图１－１多二分类标签预测模型基本结构图??这一类模型首先将文本信息嵌入式编码成一个文本特征向量，然后将这一特征向??

??图形化表示如图１所示。??０１?０１?０１?０１??（＜＝＞?〇）?（〇?〇）?（〇?〇）?（〇＜＝＞）??，、?／＇?Ａ?／＼??Ｉ分，器＼?丨分１器＼?丨分，器＼。。。。Ｉ分类器＼??／?编码器?＼??合??词向量嵌入??文本序列??图１－１多二分类标签预测模型基本结构图??这一类模型首先将文本信息嵌入式编码成一个文本特征向量，然后将这一特征向??量分别输入到Ｎ个不同的分类器中对Ｎ个标签进行预测。Ｎ个不同的分类器对这一文本??表示是否可以预测出对应的标签做出二分类判断。然后统计出所有可预测出的标签。??实际上，这一类模型分别单独建立了文本序列与各标签之间的语义关联，但是这种转??换方式对多个标签进行分别预测的处理，忽略了标签之间存在的语意关联，无法进一??步提高模型的性能表现。标签转换方法的思路是构造了各类标签组合形式作为新的分??类空间，但是这种转换方法不适用于原始标签类别较多的情况，因为较多的原始标签??存在着指数倍的标签组合情况，直接构造这些类别上的分类任务将会导致分类空间非??常复杂

明显的效果，是目前各研宄工作中表现最好的模型形式。但是，一旦出现单次预测错??误或受到噪音样本的干扰，其后的标签将会一错再错，导致序列生成偏差非常大。通??过引入外部记忆单元方式缓解前导标签信息丢失思路的示意图如图１－４所示：??文本序列?标签序列??，?Ｉ?，?，?Ｉ????Ｉ?■?■?＂￣￣１?Ｉ?７?Ｐ－，??Ｗ１?Ｉ?Ｗ２?丨?Ｗ３?Ｉ?－?Ｉ?Ｗｍ?Ｉ?＼?ＬＩ?｜?Ｌ２?？?？?？?？?Ｌｉ??词?Ｉ???Ｍ?ＩＩ?１?■▲■」」」?—±＿??丨丨嵌?八??ｊ?入?／?■?■■■?＼?Ｊ?■?－?１?外口〇〇〇〇〇??编码器＼￣ｙ解码器＼?丨”兀??个个小??４Ｔ￣????＞？注意力????图１－４引入外部记忆单元方式缓解前导标签信息丢失思路的示意图??６??


本文编号：3409956