基于深度强化学习的车用液化天然气自动加注系统研究

发布时间：2020-04-23 09:55

【摘要】：传统中对车辆的液化天然气加注作业都是由人力完成,对操作者需要一定的专业技能并在加注作业中存在安全隐患。而随着工业自动化的快速发展,产业中由智能机器人替代人力作业渐渐成为趋势,在此背景下,本课题根据车用液化天然气加注特点,采用一种改进的深度强化学习控制算法使机器人能够通过感知到的高维度原始输入数据进行行为决策,实现从原始输入到输出的自动加注操作控制。论文具体工作内容有以下部分:1、首先,根据机器人对车辆实现自动加注液化天然气的特点,解决机器人在加注过程中加注枪轨迹规划控制问题,研究并编写引导策略搜索算法,通过建立代价函数、拟合局部环境动态线性高斯模型并在该模型基础上使用最优控制方法生成并优化控制器,使机器人具有自主学习能力;2、根据待加注车辆停放位姿不确定情况,要求自动加注机器人对一定检测范围内的车辆位姿具有良好的适应能力,设计一个通用的深度卷积神经网络控制器表示检测范围内的高斯轨迹分布,提高整个自动加注系统机器人对目标车辆位置的泛化能力。并针对引导策略搜索算法控制器下拟合的卷积神经网络不能有效处理机器人前后状态的隐含信息,添加长短时记忆网络模块处理时序信息,提高机器人定位精度;3、针对深度卷积神经网络策略训练时间长的问题,对卷积神经网络图像中目标特征提取层进行权重参数预训练,通过标注图像,数据增广,制作数据集,并对视觉层神经元权重采取MSAR初始化加快模型训练;4、设计仿真实验和搭建真实场景平台并建立控制系统,对本文提出的深度卷积神经网络控制策略算法的端对端控制效果,以及机器人对加注车辆目标位置的泛化能力进行验证。
【图文】：

图 1-1 深度 Q 网络应用在雅达利Fig1-1 DQN in Atari了上述针对 DQN 网络的训练算法、神经网络结构的改进，还有引入 Schaul 等人提出的 Prioritized Experience Replay，根据采样重要度先经验，更有效地实现强化学习训练[19]；注意力机制深度循环 Q 等人提出，，在神经网络结构加入软注意力和硬注意力机制，包括了注意力机制网络以及循环神经网络（LSTM）[20]；Gu 等人提出基于的 DQN 和 DNN 相结合形成基于 NAF 的 DQN，有效的在连续控制的抽样复杂度和提高了计算效率[21]。于策略梯度的深度强化学习主要有行动者-评论家算法（Actor-Critic度确定性策略梯度模型（Deep Deterministic PolicyGradient，DDPG域策略优化（Trust Region PolicyOptimization，TRPO）[24]三大类方的方法进行优化。基于策略梯度算法广泛应用在连续控制的强化学

图 1-2 DRL 发展历史Fig1-2 Development history of DRL学习的概念提出到现在仅仅才 6 年时间，还是人工智能的发展空间和美好的应用前景。从 2016 年 Silver 等人提狗（AlphaGo）[25]程序以 5:0 击败人类欧洲围棋高手，再世石，吸引了全世界的目光, 彻底开启了 AI 领域研究的主要应用有计算机视觉、计算机博弈、机器翻译、机器人等方面。然而目前 DRL 依然处于起步阶段，需要对很多何在复杂场景中应用知识迁移，在样本稀缺时提高样本使奖励函数的设置和融合更多的深度学习模型等方面取得更强化学习控制方法研究现状器人技术快速发展和人工智能领域的崛起，关于深度强化
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：U473.8

【相似文献】

相关期刊论文 前10条

1 ;减少环境污染,我国将加大液化天然气进口[J];气体分离;2005年05期

2 靳九如;;迎接中国LNG工业发展的新时代——从2012中国国际液化天然气大会看中国LNG产业发展[J];气体分离;2012年03期

3 ;液化天然气消费快速增长[J];石油和化工节能;2007年01期

4 王林;;全球液化天然气市场日趋活跃[J];气体分离;2011年06期

5 ;中国对液化天然气的需求将激增[J];气体分离;2010年04期

6 ;新疆吉木乃广汇液化天然气项目进展顺利[J];气体分离;2010年04期

7 ;液化天然气产业链中部分装备制造企业[J];气体分离;2012年04期

8 ;9月液化天然气进口创历史新高达到80万吨[J];气体分离;2009年04期

9 许树盛;;全球液化天然气市场分析[J];中国石油和化工标准与质量;2019年20期

10 罗玉龙;;液化天然气储存及应用技术探析[J];石化技术;2018年11期

相关会议论文 前10条

1 王利朋;;液化天然气在船舶应用的现状与发展趋势展望[A];北京造船工程学会2016-2017年学术论文集[C];2018年

2 王文康;;关于液化天然气(LNG)的冷量利用问题分析[A];2016年全国天然气学术年会论文集[C];2016年

3 张继薇;;建设标准化液化天然气槽车灌装站[A];中国城市燃气学会LNG专业委员会2009年煤层气液化主题年会论文集[C];2009年

4 张孔明;;液化天然气(LNG)在清洁燃料汽车发展中的作用及前景[A];2003年西部清洁汽车技术研讨会论文集[C];2003年

5 兰书彬;金颖;江金华;;液化天然气储罐蒸发率的试验和计算[A];中国城市燃气学会液化气专业委员会第二十一届年会论文集[C];2005年

6 姜建梅;;液化天然气站的安全设计[A];中国燃气运营与安全研讨会（第十届）暨中国土木工程学会燃气分会2019年学术年会论文集（上册）[C];2019年

7 钱永刚;孙明烨;井帅;黎洪义;龚明;;小型液化天然气瓶组供气站在农村煤改气工程的应用[A];2016中国燃气运营与安全研讨会论文集[C];2016年

8 叶锦业;林苗;;国际液化天然气(LNG)市场供需状况分析[A];中国城市燃气学会LNG专业委员会2009年煤层气液化主题年会论文集[C];2009年

9 范平安;;谈液化天然气(LNG)消防安全问题的对策[A];2010中国消防协会科学技术年会论文集[C];2010年

10 谢振钦;;福建省液化天然气项目简介[A];中国土木工程学会城市燃气分会液化天然气专业委员会2007年年会论文集[C];2007年

相关重要报纸文章 前10条

1 记者 孙秀娟;俄乌达成管输过境新协议[N];中国石油报;2019年

2 记者 陶凤 王寅浩;11月液化天然气进口599万吨[N];北京商报;2018年

3 本报记者 褚大业;液化天然气，中国有质量的反击项[N];环球时报;2018年

4 王会聪;“船荒”危及亚洲液化天然气市场增长[N];环球时报;2019年

5 本报记者 郭锦辉;液化天然气需求未来将强劲增长[N];中国经济时报;2019年

6 记者 李欣智 杨鲲鹏;第十九届国际液化天然气大会在沪召开[N];中国电力报;2019年

7 本报记者 李静 郑蔚;液化天然气“奥林匹克”首次来到中国[N];文汇报;2019年

8 李夏云;俄罗斯扩大北极液化天然气业务[N];中国矿业报;2019年

9 记者 毛剑 通讯员 步荟;科学谋划好液化天然气码头布局发展保障消防救援人员交通出行优待权益[N];中国交通报;2019年

10 全媒记者 陈俊杰 通讯员 吴紫明;舟山六横将建液化天然气接收站[N];中国水运报;2019年

相关博士学位论文 前7条

1 严岩;海洋环境对浮式液化天然气平台关键设备的影响研究[D];东南大学;2017年

2 耿江波;国际天然气市场及中国液化天然气供应安全策略研究[D];中国科学技术大学;2014年

3 刘东风;超低温液化天然气储罐用06Ni9钢组织性能及生产工艺研究[D];太原理工大学;2014年

4 何守慧;液化天然气港口转储系统泄漏逸散机理与演变研究[D];武汉理工大学;2014年

5 金滔;热声驱动器及其驱动的脉管制冷研究[D];浙江大学;2001年

6 王良军;液化天然气接收站与乙烯一体化技术研究[D];大庆石油学院;2010年

7 陈东升;液化天然气管内两相流动与传热特性研究[D];上海交通大学;2014年

相关硕士学位论文 前10条

1 马炳蔚;目的论指导下哈纳斯液化天然气有限公司规章的翻译实践报告[D];宁夏大学;2019年

2 黄祖浩;基于深度强化学习的车用液化天然气自动加注系统研究[D];广东工业大学;2019年

3 陈鸿乔;液化天然气热值调整工艺研究[D];兰州理工大学;2019年

4 王镭;中海油海南车用液化天然气加注站市场发展策略与运营管理研究[D];西北大学;2019年

5 孔德晶;液化天然气流程的优化分析与动态模拟[D];东北石油大学;2018年

6 陈维思;唐山液化天然气接收站二期工程DCS系统设计[D];东北石油大学;2018年

7 张健明;液化天然气公路槽车运输安全研究[D];兰州交通大学;2018年

8 Ekaterina Ershova;[D];华东师范大学;2018年

9 黄文尧;小型液化天然气供应系统应用研究[D];北京建筑大学;2018年

10 张栋;液化天然气（LNG）气化撬装站温度控制系统的设计[D];厦门大学;2017年

本文编号：2637607