基于迁移学习的情感分类研究与应用

发布时间：2021-09-29 17:45

　　随着web2.0的日益发展,新领域用户自创内容（User Generated Content,UGC）的情感分类任务逐渐体现出巨大的学术意义和商业价值。针对新领域UGC缺乏标注语料导致情感分类性能差的问题,本文通过跨领域情感分类任务进行了探索和研究,提出了“共享知识学习和迁移模型（Shared Knowledge Learning and Transfer Model,SKLT）”,实验结果证明SKLT模型可以有效的提高新领域情感分类性能。在跨领域情感分类任务中,本文基于迁移学习（Transfer Learning）的方法,利用多个相关领域的已标注数据,结合改进的生成对抗网络（Generative Adversarial Net,GAN）,提取出领域无关的共享情感知识,迁移应用到新领域之后,提升了新领域情感分类任务的准确率。本文主要完成了以下3个方面的工作:在SKLT模型的共享知识学习部分,本文以bi-GRU情感分类模型为基础,通过优化判别器的方法改进了“生成对抗网络GAN”,提取出了领域无关的“共享知识”,然后基于向量正交实现了冗余特征惩罚,得到了无冗余的共享知识和领域特有知识。在S... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图２－］?ＭＬＰ结构示意图??

用共享参数的方式维持长期记忆，理论上能够对任意长度的时序数据进行处理，??但在实际应用中，为了降低复杂性往往假设当前状态只与之前若干个状态相关。??ＲＮＮ结构如图２－３所示。??ｒ￣＼．?输出层?，??ＯＤＤ?输?＾?？??图２－３?ＲＮＮ结构示意图??长短期记忆网络（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基础上进行了改进，通过内部的门路控制能够将长距离信息有效传递，并使用??ＬＳＴＭ单元替代传统ＲＮＮ中隐藏层的神经元，有效解决了?ＲＮＮ长期依赖的问??题。目前ＬＳＴＭ的这种结构是主流的ＲＮＮ优化结构。本课题将采用ＬＳＴＭ作为??对比模型，用于检验ＳＫＬＴ模型在情感分类任务中的效果。ＬＳＴＭ单元结构如图??２－４所示。??９??

?〇??〇??图２－２?ＣＮＮ结构示意图??传统的前馈神经网络认为样本数据之间是相互独立的，循环神经网络??（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ，?１１１州）［１＆１９］不同于传统的前馈神经网络，ＲＮＮ考虑??到了样本数据之间的序列关系，可处理输入之间前后关联的问题。ＲＮＮ通过使??用共享参数的方式维持长期记忆，理论上能够对任意长度的时序数据进行处理，??但在实际应用中，为了降低复杂性往往假设当前状态只与之前若干个状态相关。??ＲＮＮ结构如图２－３所示。??ｒ￣＼．?输出层?，??ＯＤＤ?输?＾?？??图２－３?ＲＮＮ结构示意图??长短期记忆网络（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基础上进行了改进


本文编号：3414165