针对DQN在路径规划应用中的对抗性样本生成及预测研究

发布时间：2020-10-14 21:30

　　 近年来,深度强化学习在许多领域都取得了一定的成功并得到了广泛的应用。其应用是否具备承受攻击能力和强抗打击能力也随之成为近年来的关注热点。因此,在人工智能安全性的大背景下,本文挑选了深度强化学习中极具代表性及经典的深度Q网络(DQN)算法进行研究。同时将强化学习系统中的智能体自动寻路应用作为对抗应用场景,构建应用上贴近民用的无人驾驶和军事实战的具有代表性的AI强化学习系统,并针对DQN对对抗性样本的脆弱性,对其进行攻击。本文利用DQN算法实现智能体的自主寻路,寻路路径为最优最短路径,同时对寻路路径的规则及特点进行分析和评估。基于此,本文提出了基于白盒的对抗性样本生成算法(WAG)和基于WAG算法的对抗性样本预测模型(APM)两种方法。在对抗性样本生成的研究中,通过对影响DQN路径规划算法的两个的因素Q值和梯度值进行分析和总结,提出了基于白盒的对抗性样本生成算法(WAG)。该算法可以实现对所有可能对路径规划造成攻击的对抗性样本点的检测。这些对抗性样本会不同程度的干扰智能体寻路,使其通过自主寻路无法达到应有的最优最短路径并能够成功的降低它的训练效率。在对抗性样本的预测研究中,本文提出了对抗性样本预测模型(APM)。对通过WAG算法找到的所有疑似对抗性样本的特征进行分析,根据对抗性样本对路径的影响程度即寻路时长和寻路步长将对抗性样本分为两类,分别为普通攻击点和致命攻击点。然后,提取对抗性样本的Q值和梯度值特征,利用典型相关分析算法(CCA)实现特征之间的关联和融合。同时对对抗性样本建立标签,将对路径规划影响最大的点命名为“致命攻击点”,除该点外的点命名为“普通攻击点”。最后利用K近邻算法(KNN)实现对两种类型对抗性样本点的预测。为了证明WAG和APM两个方法的有效性,本文构建了一个仿真环境作为平台进行实验。首先制定了是否为对抗性样本的判定标准,然后通过大量的实验发现通过提出的WAG算法可以成功的找到对抗性样本,并且从多个角度对实验结果进行分析。最后,通过APM方法建立分类预测模型,通过实验证明该模型能较好的实现对两种类型的对抗性样本点的预测,且分类模型的准确率达到了94.8%。
【学位单位】：北京交通大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP18
【部分图文】：

点）的情况下，借助算法能够使智能体自动算出运动路径从而实现自主寻路的过??程。也就是说，智能体依据某个优化原则在寻路过程中避开障碍物找到一条从起??点到终点的最优最短路径。如图１－１所示，为路径规划模型的框架图。??６??

生成及预测研究。??１．４论文结构安排??本文一共分为六章。文章的结构及研究内容如图１－２所示。??研究对象?研究目标??ＡＩ强化学习系统对抗?对抗样本生成及预测??的：?对抗样本类：議两类職性??强化，法：?：型及特征：样賴测１??Ｖ－?￣?￣?￣??研究内容??（?基于ＤＱＮ算法的路径规划??ｆ?……?、??／?对抗样本生成与构建１／基于ＷＡＧ算法的对＼??Ｉ基子白盒的对抗样本生成＾?抗样本预测模型；??＼ｖ?算法（ＷＡＧ）?八?（ＡＰＭ）?：ｊ??／一一－：？「?＇??ｊｇ?仿真实验构建及模型性能评估??＇＇＾＾ＫＪＵＷ，?■????？??—??图１－２研究内容框架图??Ｆｉｇｕｒｅ?１－２?Ｆｒａｍｅ?ｄｉａｇｒａｍ?ｏｆ?ｒｅｓｅａｒｃｈ?ｃｏｎｔｅｎｔ??为了更好的梳理文章的研究内容，现将文章的结构和安排介绍如下：??论文的第一章为引言部分。在本章中我们简要介绍了基于深度强化学习的相??关研究背景，课题的研究目的、意义及将深度强化学习应用于路径规划场景下的创??新意义。分析了国内外相关研究领域，按照不同的类型接介绍了最具代表性的几种??强化学习算法。简要介绍了深度强化学习在路径规划问题上的研究现状及应用。并??给出论文的预期研究成果与结构安排。??论文的第二章为理论基础与背景知识。在本章中我们介绍了深度强化学习的??９??

层是一个５ｘ５ｘ３的过滤器，过滤器的深度与输入图像的深度相同，过滤器从顶端??开始依次扫过图像，并与输入图像进行卷积得到一个３２ｘ３２ｘ１的特征图。这样，??通过卷积层可以得到更深层次的特征图。如图２－１所示是卷积神经网络的概念示范??图，其中Ｃ层为特征提取层，Ｓ层为特征映射层。输入图像通过三个过滤器和可加??偏执进行卷积，通过Ｃ１层会产生三个特征映射图，通过一个Ｓｉｇｍｏｉｄ函数可以得??到三个Ｓ２层的特征映射图，再经过过滤器得到Ｃ３层，再通过Ｓｉｇｍｏｉｄ函数得到??Ｓ４，这样多次迭代这些像素值被光栅化，并连接成一个向量输入到传统的神经网??络，得到输出。??池化层是对通过卷积层得到的特征图进行压缩，使特征图变小，参数减小来简??化网络计算的复杂度。它一般有两种方法，一种是最大池化另一种是平均池化。最??大池化是在特征图中的每一个区域中寻找像素最大值
【相似文献】

相关期刊论文 前10条

1 乔鑫伟;;百姓的粮仓[J];数据;2013年08期

2 丁卫平;李越;仲庆国;;创新调查实施模式 提高直接调查能力——泰州调查队推行调查样本点直接管理工作的思考与实践[J];中国统计;2010年11期

3 曾昭贤;张茂军;王炜;熊志辉;;基于样本点能量扩散模型的聚类[J];计算机应用;2011年09期

4 欧阳资生;吴喜之;;修正的Pickands估计样本点分割的自助估计方法[J];应用数学学报;2006年02期

5 李荣江;;计算古典概率的若干简化方法[J];数理医药学杂志;2008年05期

6 王少波,柴艳丽,梁醒培;神经网络学习样本点的选取方法比较[J];郑州大学学报(工学版);2003年01期

7 蒋友宝;黄星星;廖国宇;张建仁;;基于多线性支持向量机的样本点正确分类与复杂失效方程稳步模拟[J];计算力学学报;2015年03期

8 梁路;龚奔龙;黎剑;滕少华;;一种缓解分类面交错的样本点扩散方法[J];计算机科学;2017年09期

9 肖海峰;德国的农产量特别调查[J];北京统计;1997年05期

10 李大伟;吕震宙;张磊刚;;基于优化样本点的双重Kriging模型的重要性测度求解方法[J];西北工业大学学报;2014年02期

相关博士学位论文 前2条

1 常海超;近似理论在船型优化中的应用研究[D];武汉理工大学;2014年

2 朱宝;虚拟样本生成技术及建模应用研究[D];北京化工大学;2017年

相关硕士学位论文 前10条

1 白肖璇;针对DQN在路径规划应用中的对抗性样本生成及预测研究[D];北京交通大学;2019年

2 赵林杰;基于多响应面方法的结构失效模式识别与可靠度分析[D];长沙理工大学;2018年

3 王伟文;拉普拉斯特征映射新增样本点问题及正则化降维研究[D];暨南大学;2017年

4 胡秀英;基于噪声样本点的曲线、曲面重构[D];天津大学;2008年

5 闫阳;结构可靠性分析的数值模拟方法研究[D];清华大学;2012年

6 彭晓琳;基于闭包的分类判别方法研究[D];武汉理工大学;2008年

7 于光华;基于样本选择的复杂分类问题研究[D];天津大学;2017年

8 万韩永;基于样本重要性原理的KNN文本分类算法[D];江西师范大学;2015年

9 许翠云;模糊支持向量机的研究及其在基因分类中的应用[D];南京林业大学;2013年

10 周永磊;基于Side-Information的若干学习问题研究[D];清华大学;2005年

本文编号：2841218