基于RNN结构深度学习系统的白盒自动化测试方法的研究

发布时间：2020-04-18 16:40

【摘要】：随着大数据时代的到来,以及计算硬件算力的快速发展,之前沉寂几十年的机器学习焕发了新的生命。深度学习(DL)是机器学习和人工智能研究的最新及最火趋势之一,深度学习不论在学术界还是工业界都是当今最流行的研究趋势。深度学习为计算机视觉(CV)和自然语言处理(NLP)还有语音以及医疗等方向带来了革命性的进步。新的深度学习技术正在不断诞生,超越最先进的机器学习甚至是现有的深度学习技术。随着深度学习的发展,应用深度神经网络的深度学习系统越来越多地部署在与许多与安全相关的关键领域,包括自动驾驶汽车、人脸识别或者预测金融市场涨跌行为,这类系统要求深度学习网络模型的安全性非常高。但令人遗憾的是,尽管深度神经网络系统的功能令人印象深刻,但由于训练数据偏差,过度拟合和模型不足等原因,对于一些极端样例(corner cases)中经常会做出意外或不正确的后果,自动驾驶汽车可能会发生严重车祸,人脸识别错误会发生重大财产及信息损失等等。因此,对于人身、财产、信息、网络安全都至关重要的深度学习系统必须像传统软件一样,必须经过系统地测试不同的极端案例,以检测和修复任何潜在的缺陷或事与愿违的行为,这就要求我们设计的深度神经网络系统的鲁棒性非常强。这个问题已经引起了学者的广泛关注,TianY等人提出了 DeepXplore,首个针对深度学习系统的自动化白盒测试框架。DeepXplore有效地在目前最先进的数个深度学习模型上发现了数千个不正确的极端案例行为(比如说自动驾驶汽车撞向护栏、恶意软件伪装成好软件)。该工作创新性地提出了神经元覆盖指标去查看在执行测试套件(test suite)期间被激活的神经元百分比,给我们提供了非常好的思路。同时该工作还有一些问题没有解决:可允许的约束不够灵活,所以得到的输入只能成为用于训练的输入,加上一些小的改动。另外,没有针对现阶段应用特别多的循环神经网络(RNN)做出测试。因为RNN网络独有的状态机制,RNN的输出与输入之间的关系比较复杂,我们对其进行了仔细的研究,分析出了其独特的求导机制,利用展开计算图,使用雅可比矩阵对每一个时刻的输入进行求导。Szegedy等人在有关敌对深度学习的研究中已经证明,神经网络很容易被欺骗,通过对现有图像添加微小干扰而精心制作的合成图像可以欺骗最先进的深度学习系统。Papernot等人成功生成递归神经网络(RNN)的敌对输入序列。验证了对抗样例的生成同样适用于RNN网络。根据这些已有的工作,我们在工作中提出了针对RNN应用的输入更加灵活的限制,让简单的修改和巨大的修改都成为可能。另外,我们同时在使用RNN的图像识别和自然语言处理的应用中分别做了测试,达到了不错的效果。我们将最后修改的原始输入加入到训练集中,继续训练深度学习系统,发现系统的准确性和鲁棒性均有提高。
【图文】：

代表元素,语音识别,错误率,非线性模型

ＬＳＴＭ还普遍用于自主语音识别，２０１３年运用Ｔ１ＭＩ据库达成１７．７％错误率的纪录。作为非线性模型，ＬＳＴＭ可作为复元用于构造更大型深度神经网络。逡逑面我们简单介绍一下ＬＳＴＭ的结构。逡逑ＴＭ由Ｈｏｃｈｅｒｉｔｅｒ和Ｓｃｈｍｉｄｈｕｂｅｒ提出，，其数学上的形式化表不如ｉｇｍ（Ｍ／ＸｉＸｔ邋＋逦ｆｔ邋：＝邋ｓ＼ｇｍ（Ｗｘｆｘｔ邋＋邋Ｗｈｆｈｔ＾），逡逑ｉｇｍ（Ｍ＾０ｘｔ邋＋逦ｃｔ邋：＝邋ｓｉｇｍ（Ｍ＾ｃｘｔ邋＋邋Ｗ＾ｈ＾），逡逑Ｏｃｔ－ｉ邋＋邋ｉｔ0ｃｔ，邋ｈｔ邋■■＝邋ｏｔ0ｔａｎｈ（ｃｔ）0逡逑中Ｏ代表元素相乘，ｓｉｇｍ代表ｓｉｇｍｏｉｄ函数，ｓｉｇｍ（ｚ）邋－邋１＋ｅｘｊ）（＿ｚ）°逡逑ＲＮＮ相比，ＬＳＴＭ多了一个隐藏状态变量，称为细胞状态，用来据图２－３，我们可以对ＬＳＴＭ中各单元作用进行分析：逡逑

写数字,凉鞋,研究部门,运动鞋

用的第二个数据集是Ｆａｓｈｉｏｎ－ＭＮＩＳＴ１１７１。Ｆａｓｈｉｏｎ－ＭＮＩＳ写数字集的图像数据集。它是由Ｚａｌａｎｄｏ邋（—家德国的研究部门提供。其涵盖了来自１０种类别的共７万个不ｈｉｏｎ－ＭＮＩＳＴ的大小、格式和训练集／测试集划分与原始。６００００／１００００的训练测试数据划分，２８Ｘ２８的灰度图，裤子，套衫，裙子，外套，凉鞋，汗衫，运动鞋，－２所示：逡逑
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP18;TP393.08

【相似文献】