标签嵌入表示在文本分类任务中的应用
发布时间：2022-02-15 13:38
随着信息时代到来,互联网平台产生了大量文本信息资源。这些文本信息资源蕴含了巨大的商业价值,如何有效地组织、管理和挖掘这些信息资源一直是工业界和学术界研究的重要问题。自动文本分类（Automatic Text Classification,ATC）技术被认为是管理这些文本信息资源的重要技术手段。传统的文本分类模型大多使用独热编码（One-hot Coding）方式编码样本标签。该向量表示是一种纯粹的符号表示,本身不具备任何语义信息。在这种情况下,标签信息未能在模型中得到充分利用。为此,研究人员尝试用标签的低维嵌入表示（Label Embedding）来编码标签的语义信息。本文主要研究标签嵌入表示在文本分类任务中的学习和应用问题。文章第一部分工作利用输入文本和标签之间的关联来学习标签的嵌入表示,文章第二部分工作将联合图卷积网络（Graph Convolutional Neural Network,GCN）和标签嵌入来完成文本分类任务。在先前的研究中,标签嵌入学习算法大多利用标签的辅助信息（Side Infor-mation）学习标签嵌入表示,如标签描述文本、标签属性集合等。通常,获取这些标...
【文章来源】：中国科学技术大学安徽省211工程院校985工程院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２．１标签层级结构示意图，图片来源于论文??
?第２章相关工作???类（Ｈｉｅｒａｒｃｈｉｃａｌ?Ｍｕｌｔｉ－ｌａｂｅ丨?Ｔｅｘｔ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，?ＨＭＴＣ）任务中。他们为标签层级中??的每层标签都学习标签嵌入表示，然后用它们来构造层级感知的文本表示。??ｘ－＾Ｗｖ??—?．’２?？?ｙ??（ａ）?Ｔｒａｄｉｔｉｏｎａｌ?ｍｅｔｈｏｄ??ｘ」＾ｖ??＾￣??．．１．１．１．?１?ＧＭ￣￣ｇ）Ｌ??｜．；ｖ．：｜－：ｌ?Ｉ?ｆ??ｙ?—￣？?ｃ?ｊ０??ＪＪ?Ｇ??图２．２基于标签嵌入的注意力机制，图片来源于论文??上述两个工作都是利用标签的嵌入表示来构造更好的文本向量表示，还有??一些研宄人员试图将标签嵌入学习应用到多任务学习（Ｍｕｌｔｉ－ｔａｓｋ?Ｌｅａｒｎｉｎｇ，ＭＴＬ）??中。Ｚｈａｎｇ等［３２１发现先前的工作大多使用ｈｈｏｔ编码方式编码标签表示，在这种??情况下，这些任务的标签向量表示是相互独立的。这种方式不利于发掘多个任??务中标签之间的联系，他们希望通过学习标签嵌入表示来关联多个任务，从而提??升模型性能。据此，他们提出多任务标签嵌入模型（Ｍｕｌｔｉ－ｔａｓｋ?Ｌａｂｅｌ?Ｅｍｂｅｄｄｉｎｇ，??ＭＴＬＥ）。该模型通过同一个标签编码器将多个分类任务中的标签编码到同一个??向量空间中，然后通过公式２．４联合训练多个分类任务：??ｉ?４?Ｚ?（２－４）??＊＝１?ｉ＝ｉ?ｊ＝ｉ??其中，尺代表任务个数，七为每个任务的训练损失权重。通过这种方式，模型??能够学习到多个任务中标签之间的联系，使得分类模型具有更好的迁移性能。??２．２图卷积网络??在现实生活中，数据可以分为欧几里得结构数据（Ｅｕｃｌｉｄｅａｎ?
?第２章相关工作???可以用从左到右、从上至下等方位名词来描述每个点的位置。而图２．３（ｂ）所示的??非欧几里得结构的数据中，节点没有明确的位置信息（图中节点编号是为了方便??解释，这些节点实际上并没有编号）。其次，在欧几里得结构数据中，每个节点??的邻居个数是确定的，这意味着每个点都有相同的领域结构。而非欧几里得结构??的数据中，邻居节点的个数未知，譬如节点４有３个邻居，而节点６只有１个邻??居。换言之，非欧几里得结构数据没有确定的邻域结构。??ｍｍｒ?ｍ??（ａ）?（ｂ）??图２．３欧几里得和非欧几里得结构数据??传统的卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）在处理欧几里得??结构数据上有较为出色的性能。以图２．３（ａ）中的图片数据为例，图片数据是由像??素点排列而成的规则矩阵，以图像中的任意一个像素点为中心，模型都可以获取??相同的局部结构。因此，卷积神经网络可以定义全局共享的卷积核来提取图像的??局部信息，学习图像的语义表示。然而，非欧数据并没有确定的邻域结构，传统??的卷积神经网络并不适用于这类数据。如何定义图结构上的卷积操作是一个富??有挑战的工作。现有的图卷积神经网络可以分为空间方法（Ｓｐａｔｉａｌ?Ｄｏｍａｉｎ）和谱??方法（Ｓｐｅｃｔｒａｌ?Ｄｏｍａｉｎ）两大类。空间方法通过定义规范化框架和节点特征聚合函??数来更新图中节点状态，谱方法则基于图谱理论定义出图上的卷积操作来更新??节点表示。接下来，我们将简要介绍这两类方法的相关工作。??２．２．１?空域方法??基于空域的图卷积模型希望通过每个顶点的邻域来提取图上的空间特征。但??是，在图结构数据
本文编号：3626726
【文章来源】：中国科学技术大学安徽省211工程院校985工程院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２．１标签层级结构示意图，图片来源于论文??
?第２章相关工作???类（Ｈｉｅｒａｒｃｈｉｃａｌ?Ｍｕｌｔｉ－ｌａｂｅ丨?Ｔｅｘｔ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，?ＨＭＴＣ）任务中。他们为标签层级中??的每层标签都学习标签嵌入表示，然后用它们来构造层级感知的文本表示。??ｘ－＾Ｗｖ??—?．’２?？?ｙ??（ａ）?Ｔｒａｄｉｔｉｏｎａｌ?ｍｅｔｈｏｄ??ｘ」＾ｖ??＾￣??．．１．１．１．?１?ＧＭ￣￣ｇ）Ｌ??｜．；ｖ．：｜－：ｌ?Ｉ?ｆ??ｙ?—￣？?ｃ?ｊ０??ＪＪ?Ｇ??图２．２基于标签嵌入的注意力机制，图片来源于论文??上述两个工作都是利用标签的嵌入表示来构造更好的文本向量表示，还有??一些研宄人员试图将标签嵌入学习应用到多任务学习（Ｍｕｌｔｉ－ｔａｓｋ?Ｌｅａｒｎｉｎｇ，ＭＴＬ）??中。Ｚｈａｎｇ等［３２１发现先前的工作大多使用ｈｈｏｔ编码方式编码标签表示，在这种??情况下，这些任务的标签向量表示是相互独立的。这种方式不利于发掘多个任??务中标签之间的联系，他们希望通过学习标签嵌入表示来关联多个任务，从而提??升模型性能。据此，他们提出多任务标签嵌入模型（Ｍｕｌｔｉ－ｔａｓｋ?Ｌａｂｅｌ?Ｅｍｂｅｄｄｉｎｇ，??ＭＴＬＥ）。该模型通过同一个标签编码器将多个分类任务中的标签编码到同一个??向量空间中，然后通过公式２．４联合训练多个分类任务：??ｉ?４?Ｚ?（２－４）??＊＝１?ｉ＝ｉ?ｊ＝ｉ??其中，尺代表任务个数，七为每个任务的训练损失权重。通过这种方式，模型??能够学习到多个任务中标签之间的联系，使得分类模型具有更好的迁移性能。??２．２图卷积网络??在现实生活中，数据可以分为欧几里得结构数据（Ｅｕｃｌｉｄｅａｎ?
?第２章相关工作???可以用从左到右、从上至下等方位名词来描述每个点的位置。而图２．３（ｂ）所示的??非欧几里得结构的数据中，节点没有明确的位置信息（图中节点编号是为了方便??解释，这些节点实际上并没有编号）。其次，在欧几里得结构数据中，每个节点??的邻居个数是确定的，这意味着每个点都有相同的领域结构。而非欧几里得结构??的数据中，邻居节点的个数未知，譬如节点４有３个邻居，而节点６只有１个邻??居。换言之，非欧几里得结构数据没有确定的邻域结构。??ｍｍｒ?ｍ??（ａ）?（ｂ）??图２．３欧几里得和非欧几里得结构数据??传统的卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）在处理欧几里得??结构数据上有较为出色的性能。以图２．３（ａ）中的图片数据为例，图片数据是由像??素点排列而成的规则矩阵，以图像中的任意一个像素点为中心，模型都可以获取??相同的局部结构。因此，卷积神经网络可以定义全局共享的卷积核来提取图像的??局部信息，学习图像的语义表示。然而，非欧数据并没有确定的邻域结构，传统??的卷积神经网络并不适用于这类数据。如何定义图结构上的卷积操作是一个富??有挑战的工作。现有的图卷积神经网络可以分为空间方法（Ｓｐａｔｉａｌ?Ｄｏｍａｉｎ）和谱??方法（Ｓｐｅｃｔｒａｌ?Ｄｏｍａｉｎ）两大类。空间方法通过定义规范化框架和节点特征聚合函??数来更新图中节点状态，谱方法则基于图谱理论定义出图上的卷积操作来更新??节点表示。接下来，我们将简要介绍这两类方法的相关工作。??２．２．１?空域方法??基于空域的图卷积模型希望通过每个顶点的邻域来提取图上的空间特征。但??是，在图结构数据
本文编号：3626726
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3626726.html
