基于深度强化学习的集装箱堆叠优化算法研究

发布时间：2024-04-11 03:57

　　在集装箱码头的堆场中,集装箱的堆叠操作是存储环节中不可缺少的一部分,合理的堆叠方案能有效减少倒箱操作,降低码头船只与陆运车辆的等待时间以及场桥的运行成本,对集装箱操作和堆场运行效率有重要意义。本文研究的问题为将一组集装箱按顺序存储在一定数量的具有容量限制的堆栈中,目标为产生的无序堆叠集装箱数最少。在之前的研究中,简单的堆叠规则难以保证求解的质量,精确求解算法和启发式搜索算法的求解效率受问题规模影响巨大,本文采用一种基于深度强化学习的优化算法解决此问题,具体研究工作如下:研究了集装箱堆叠过程、混合整数规划模型及其求解过程,在此基础上,设计了强化学习解决集装箱堆叠问题的流程。依据强化学习原理,对集装箱堆叠优化进行强化学习建模,针对集装箱堆叠过程设计了环境状态、动作、奖励、状态转移和策略等强化学习基本要素。根据深度强化学习框架设计了策略网络,包括堆场环境特征提取网络和堆叠决策网络。为提高学习效果,设计了基于多头自注意力机制的堆场环境特征提取网络和基于多层感知机的堆叠决策网络,策略网络能够较好地提取状态矩阵中不同堆栈状态之间的关联信息并做出决策。根据不同强化学习算法的特点和本文研究的问题特点,...

【文章页数】：85 页

【学位级别】：硕士

【部分图文】：

图１－２堆场结构??Ｆｉｇ．?１－２?Ｓｔｒｕｃｔｕｒｅ?ｏｆ?ｓｔｏｒａｇｅ?ｙａｒｄ?ｂｌｏｃｋ??在实际操作中，入场和出场的集装箱临时存储在集装箱码头的堆场中，不同目的地、??

?山东大学硕士学位论文???１绪论??１．１研究背景与目的意义??随着经济全球化和建设“一带一路”国家战略的提出，世界各地的经济往来愈加频??繁，我国港口得到进一步发展，海洋运输量不断增加［｜１，集装箱由于其标准化、易装卸??的特点ｒａ，成为海洋运输不可或缺的组成部分。货物流量的....

图１－３技术路线??Ｆｉｇ．?１－３?Ｔｅｃｈｎｏｌｏｇｙ?ｒｏａｄｍａｐ??９??

?Ｉ??！???????深度强化学?Ａ装筘堆叠优Ａ丨??；???■＂习训练兑法＾＼?ｉｍｍｍ?ｊ?＼??决?５ＵＴ？价?Ｍ?络?｜?；??；?ａｎ－?｜?｜??????ｉ??ｉ?Ｉ堆旮优化???！??：?????—＂决策实验?广?＾?：??；Ｕ；验设定一＾训练实验—［＝＝＝＝＾?....

图２－１贝位结构??

?山东大学硕士学位论文???先级为５、７和８的集装箱），有下划线的为无序堆叠集装箱。本文研究的集装箱堆叠??优化问题属于组合优化问题，多种案例表明深度强化学习在组合优化问题上能够优于一??般的规则，甚至好于元启发式方法，且求解时间较短。因此本文通过深度强化学习算法??寻找一种堆叠....

图２－２无序堆叠数介绍??Ｆｉ．?２－２?Ｕｎｏｒｄｅｒｅｄ?ｓｔａｃｋｉｎｓ??

?山东大学硕士学位论文???先级为５、７和８的集装箱），有下划线的为无序堆叠集装箱。本文研究的集装箱堆叠??优化问题属于组合优化问题，多种案例表明深度强化学习在组合优化问题上能够优于一??般的规则，甚至好于元启发式方法，且求解时间较短。因此本文通过深度强化学习算法??寻找一种堆叠....

本文编号：3950841