对抗网络在语音和语言任务上的应用

发布时间：2021-12-10 16:33

　　近些年,深度神经网络极大地推进了人工智能在一些领域上的发展,包括计算机视觉、语音识别、自然语言处理等,生成式对抗网络（Generative Adversarial Network,GAN）更是成为了当前人工智能界一个热门的研究方向。GAN的核心思想来源于博弈论中的纳什均衡,它由一个生成器和一个判别器组成,通过对抗博弈的方式进行训练和学习,在图像生成等领域取得了惊艳的效果。受到生成对抗网络的启发,我们将对抗博弈的思想应用到语音和语言相关的任务上。本文围绕对抗网络在语音分离和自然语言推理两个任务上开展研究工作,具体包括:1、使用对抗网络和强化学习提升语音分离的效果针对传统的单通道语音分离神经网络,我们提出一种基于对抗网络和强化学习的分离框架。由生成式对抗网络启发而产生的对抗模块的目的是通过评估分离结果和真实目标之间的差异,使两者有一样的数据分布。同时,为了使模型分离结果偏向于期望的评价指标,并且减少训练损失（比如均方误差）和测试指标（比如:SDR,声源失真比）之间的差异,我们提出基于强化学习的未来期望方法以解决这些问题,既我们直接优化性能指标来实现这一点。该框架将对抗网络和强化学习相结合,... 

【文章来源】：哈尔滨理工大学黑龙江省

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

图１－３?Ｘｕ等人提出的ＡＳＡＭ系统的结构??Ｆｉｇ．?１－３?Ｔｈｅ?ｓｔｒｕｃｔｕｒｅ?ｏｆ?ｔｈｅ?ｐｒｏｐｏｓｅｄ?ＡＳＡＭ?ｓｙｓｔｅｍ?ｂｙＸｕ?ｅｔ?ａｌ．??

?句子对之间使用注意力机制进行交互的推理方法。??第一类方法，如图１－４所示，首先使用参数共享的神经网络句子语义编码??器来表征前提语句和假设语句，然后使用神经网络分类器来判别句子对之间的??逻辑关系。在己有的ＮＬＩ相关研宄中，很多工作使用卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎ??ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ，?ＣＮＮ?）和长短时记忆网络（Ｌｏｎｇ?ｓｈｏｒｔ－ｔｉｍｅ?ｍｅｍｏｒｙ，?ＬＳＴＭ）作??为构建模块，比如Ｍｏｕ等人提出基于树的ＣＮＮ句子编码结构％，Ｌｉｕ等人％??提出基于双向长短时记忆网络（Ｂｉｄｉｒｅｃｔｉｏｎａｌ?ＬＳＴＭ，?ＢｉＬＳＴＭ）的句子编码结构。??也有很多使用更加复杂的神经网络进行句子嵌入的研宄工作，比如Ｙｕ等人提??出ＮＳＥ?（Ｎｅｕｒａｌ?ｓｅｍａｎｔｉｃ?ｅｎｃｏｄｅｒ，?ＮＳＥ）的记忆增强神经网络［３４】，用于自然语言??推理任务。最近一些研宄者开始探索应用于句子嵌入表示的自注意力机制。Ｓｈｅｎ??等人提出（Ｄｉｒｅｃｔｉｏｎａｌ?ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ?ｎｅｔｗｏｒｋ

２．２生成式对抗网络相关研究??随着深度学习研究的深入，Ｇｏｏｄｆｅｌｌｏｗ等人ｍ提出生成对抗网络（ＧＡＮ）??作为一种学习数据分布的新方式，如图２－１所示。生成对抗网络包含一个生成??－１１－??


本文编号：3532992