面向中文分类的自抑制残差网络研究

发布时间：2021-02-07 13:37

　　随着深度学习的在图像领域和语音处理领域的广泛应用,卷积神经网络也已经成为大多数自然语言处理任务的主流方法。文本分类作为自然语言处理一个非常有代表性的研究领域,是很多上层应用的基础。然而,目前应用于这一场景的网络模型层数通常比较浅,相比于图像分类领域精心设计的深层网络而言,这些浅层网络无法捕捉到文本的层次化结构信息。此外,传统的文本表示以词袋表示为主,这种表示对单词之间的互信息缺乏准确的度量。词向量的提出一定程度上解决了这一问题,利用无监督学习得到单词的向量表示,引入了单词的共现信息。目前也有工作针对字符级别的文本表示提出自己方法,但这些模型对中文的预处理都非常粗糙,这个过程中损失了丰富的语义信息。探索了目前在文本分类领域的各种文本表达和各种深度学习网络之后,针对中文短文本这一领域提出了自己的自抑制残差网络模型,对于此前许多工作中中文文本预处理过程过于粗糙导致信息丢失的问题,该模型采用字跟词联合作为输入数据,充分利用了中文独特的汉字信息。同时,对于采用更深的网络结构来获取文本的层次化表达之后导致的网络模型训练的难题,创新性的采用自抑制残差卷积模块取代之前的通用卷积模块来提高网络的综合表现... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

CBOW模型（左）和skip-gram模型（右）

14图 2.2 经典的五层卷积神经网络上讨论的是一个卷积核如何得到一个特征，但模型通常是采用众多卷的窗口大小得到多种特征的，这些特征最后传送到一个全连接层最后的概率分布。 2.2 是一个非常清晰形象的例子，对于一个输入长度为 7 的字符序列，符映射为维度为 5 的向量，整个文本就转化为了一个 7*5 的矩阵，然同大小的卷积核去卷积输入，大小分别为 2，3，4，每个卷积核数量为际实验中卷积核的数量远大于这个，卷积得到的特征长度分别为 6，5一个最大池化层得到特征序列中最显著的特征，最后将它们分组拼接起 softmax 层就能得到最终的分类结果。

图 2.4 卷积操作的细节对于文本中卷积操作，思想和图像处理中的卷积一样，每一个卷积核相当于去学习图像的的特征信息，例如边，形状，纹理等等，如果图像的感受野内出现了与卷积核匹配的特征，那么这一区域计算到的特征的取值会变的很大，从而获取特征信息。唯一的区别在于图像的卷积操作是多通道二维卷积，而文本是时序序列，采用的是一维卷积，即在文本书写方向上的卷积操作。以图 2.4 为例详细讲解一个卷积核的卷积操作，绿色部分为图像，黄色部分为卷积核的感受野，右边粉色部分为学习到的特征，黄色部分右下角的数字即为卷积核，用于学习该图片的哪一部分有该卷积核所检测的特征，观察上图中的卷积核可以发现它为一个 X 形的特征检测器，去匹配图像矩阵中哪个部位有类似的 X 形状，显然越像 X 的图像部位得分越高，例如黄色视野内的得分就比较高。同样的，在文本处理中，每个卷积核也用于学习一种文本上隐藏的特征（比如去学习情感分类中“喜欢”这种文字特征），如果对应感受野内表达了类似的特征，这个特定卷积核操作之后的


本文编号：3022305