基于深度强化学习的离散型制造企业车间动态调度研究
发布时间：2021-06-02 21:07
为了适应变化万千、竞争激烈的市场环境,制造企业向多类型、小规模的离散制造模式转变,导致车间生产过程变得复杂动态,发生突发事件的概率大大提高。而目前离散型制造企业使用的车间调度系统,同生产实际情况相差甚远,在复杂动态场合很难应用,通常需要人工对调度方案进行适应性调整。但是人工调整的优劣取决于调度员的经验和知识水平,而且往往需要耗费大量的时间和劳动力,调度方案的稳定性及车间生产效率难以保证。所以,迫切需要改善生产车间依赖人工调整的现状。与此同时,智能制造与数字化工厂的发展,使生产车间产生大量数据,为机器学习的应用提供了可能。在这种环境下,使用深度学习、深度强化学习,开发基于这些数据的自学习、自适应车间调度系统,不仅考虑了这些数据的价值,还可以通过数据对实际调度车间的实现动态感知和智能控制,从而指导实际生产过程出现的各种动态问题,实现车间自适应调度,缓解车间对人工调整的依赖。因此,本文针对车间调度系统在实际应用过程中过度依赖人工的特点,通过对车间历史及实时数据的研究和人工调整经验的总结,将深度学习、深度强化学习融入到高级计划与排程技术,训练生产系统的学习能力,提高生产调度的自适应性和实时性,...
【文章来源】：西安理工大学陕西省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
智能制造环境下的车间Fig.1-1Workshopinanintelligentmanufacturingenvironment
体的系统状态。强制状态离散化的缺点是显而易见的，因为没有有效的指导如何选择适当的状态数以损害计算复杂性和模型准确性。Qu等人[58]将车间制造因素与劳动力因素同时考虑进来，根据车间实时数据以及真实制造环境，运用强化学习方法调整车间调度方案以及员工调度方案，很大程度上提高了效率。为了克服传统强化学习技术在处理复杂问题维度爆炸的局限性，深度强化学习（DeepReinforcementLearning，DRL）的思想被提出，对该问题作出了重大改进。这也导致了深度强化学习在调度问题上的研究逐年增高，近年来更是呈断层式增长（如图1-2所示，该图为近年来webofscience杂志上深度强化学习方法在调度优化问题上的研究文献数量[59]）。AlphaGO的成功激发了我们通过使用深度体系结构学习数据间的内在联系，将深度强化学习应用于柔性车间调度问题。刘民毅[60]通过数据编码的方式设置状态空间，根据紧急订单的动态调度场景设置奖惩函数，将紧急订单下的动态车间调度问题转化为深度强化学习的序列决策问题；Waschneck等[61]为某半导体制造车间，使用多智能体的DQN模型进行优化，其中每个智能体在一个工作中心优化调度规则，同时监视其他智能体的行为并进行全局优化。此外，他们还为DQN智能体使用了两阶段培训方法，提高了自适应性和稳定性。Shi等人[62]针对采用深度强化学习调度自动生产线，考虑了加工时间随机的生产情况，并在具体实例中验证了强化深度学习算法的天然适应性。但是文章只对单个案例进行优化，不能体现深度强化学习算法的通用性。图1-2深度强化学习在各类调度问题上的使用频率Fig.1-2Thefrequencyofdeepreinforcementlearningusedinschedulingproblems
1绪论9下人工调整的策略选择，以便APS系统快速、准确、智能地响应车间生产情况。（2）为了让机器识别出人工调整操作的优劣，通过遗传仿真的方式，仿真人工调整时刻各人工调整的优劣。试图将遗传优化与深度学习算法相结合，获取实时高效的调度方案，以达到智能制造的要求。（3）针对机器故障、工艺变更等显性扰动场景，使用深度强化学习算法求解动态车间调度问题。将动态车间调度视为序列决策问题，实现根据实时生产环境信息自动匹配较优的反应式调度策略的目标。从而解决目前启发式搜索算法求解动态车间调度问题的局限性。（4）为了验证深度强化学习算法在求解车间调度问题时的优势，本文分别在静态环境与动态环境下，将深度强化学习算法与单一调度规则、启发式搜索算法、传统强化学习算法进行对比，验证深度强化学习算法的实时性、动态性和灵活性。同时根据研究内容搭建可视化平台，便于调度人员操作。1.3.2论文的组织结构全文的结构如图1-3所示。图1-3论文整体框架Fig.1-3Overallframeworkofpaper论文分为六章，每章的主要内容如下：
【参考文献】：
期刊论文
[1]强化学习在运筹学的应用:研究进展与展望[J]. 徐翔斌,李志鹏. 运筹与管理. 2020(05)
[2]考虑生产过程时间的柔性作业车间调度优化[J]. 李峥峰,于小忠,张国辉,崔陆军. 工业工程. 2020(02)
[3]国内外智能调度研究现状、热点与发展趋势——基于CiteSpace的可视化对比研究[J]. 王婷,卫少鹏,廖斌,周彤. 工业工程. 2020(02)
[4]基于多目标的动态车间调度问题的策略研究[J]. 成荣荣,毕利. 现代制造工程. 2020(02)
[5]应用强化学习算法求解置换流水车间调度问题[J]. 张东阳,叶春明. 计算机系统应用. 2019(12)
[6]基于强化学习的生产再决策问题[J]. 夏金,孙宏波,孙立民. 计算机集成制造系统. 2019(11)
[7]面向智能制造车间的AGV系统调度算法设计[J]. 张祥祥,杨智飞,胡祥涛,苏春. 智能制造. 2019(09)
[8]求解柔性作业车间调度问题的多策略融合Pareto人工蜂群算法[J]. 赵博选,高建民,付颖斌,赵姣. 系统工程理论与实践. 2019(05)
[9]考虑作业返工的资源受限项目调度问题[J]. 廖怡娜,陆志强. 计算机集成制造系统. 2019(11)
[10]智能制造 调度为先——《制造系统智能调度方法与云服务》导读[J]. 张洁,秦威. 中国机械工程. 2019(08)
硕士论文
[1]机器故障下的柔性作业车间动态调度方法[D]. 陈超.江南大学 2019
[2]基于强化遗传算法的车间调度方法研究[D]. 钟慧超.华中科技大学 2019
[3]基于深度强化学习的紧急订单生产控制方法研究[D]. 刘民毅.东南大学 2018
[4]局部感知情形下的车间调度建模与优化[D]. 吉靖.合肥工业大学 2018
[5]机器故障下离散型制造企业稳健型重调度问题研究[D]. 谷和平.重庆理工大学 2018
[6]基于神经网络的不确定性动态Job-shop调度研究[D]. 张予昊.北京交通大学 2016
本文编号：3210753
【文章来源】：西安理工大学陕西省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
智能制造环境下的车间Fig.1-1Workshopinanintelligentmanufacturingenvironment
体的系统状态。强制状态离散化的缺点是显而易见的，因为没有有效的指导如何选择适当的状态数以损害计算复杂性和模型准确性。Qu等人[58]将车间制造因素与劳动力因素同时考虑进来，根据车间实时数据以及真实制造环境，运用强化学习方法调整车间调度方案以及员工调度方案，很大程度上提高了效率。为了克服传统强化学习技术在处理复杂问题维度爆炸的局限性，深度强化学习（DeepReinforcementLearning，DRL）的思想被提出，对该问题作出了重大改进。这也导致了深度强化学习在调度问题上的研究逐年增高，近年来更是呈断层式增长（如图1-2所示，该图为近年来webofscience杂志上深度强化学习方法在调度优化问题上的研究文献数量[59]）。AlphaGO的成功激发了我们通过使用深度体系结构学习数据间的内在联系，将深度强化学习应用于柔性车间调度问题。刘民毅[60]通过数据编码的方式设置状态空间，根据紧急订单的动态调度场景设置奖惩函数，将紧急订单下的动态车间调度问题转化为深度强化学习的序列决策问题；Waschneck等[61]为某半导体制造车间，使用多智能体的DQN模型进行优化，其中每个智能体在一个工作中心优化调度规则，同时监视其他智能体的行为并进行全局优化。此外，他们还为DQN智能体使用了两阶段培训方法，提高了自适应性和稳定性。Shi等人[62]针对采用深度强化学习调度自动生产线，考虑了加工时间随机的生产情况，并在具体实例中验证了强化深度学习算法的天然适应性。但是文章只对单个案例进行优化，不能体现深度强化学习算法的通用性。图1-2深度强化学习在各类调度问题上的使用频率Fig.1-2Thefrequencyofdeepreinforcementlearningusedinschedulingproblems
1绪论9下人工调整的策略选择，以便APS系统快速、准确、智能地响应车间生产情况。（2）为了让机器识别出人工调整操作的优劣，通过遗传仿真的方式，仿真人工调整时刻各人工调整的优劣。试图将遗传优化与深度学习算法相结合，获取实时高效的调度方案，以达到智能制造的要求。（3）针对机器故障、工艺变更等显性扰动场景，使用深度强化学习算法求解动态车间调度问题。将动态车间调度视为序列决策问题，实现根据实时生产环境信息自动匹配较优的反应式调度策略的目标。从而解决目前启发式搜索算法求解动态车间调度问题的局限性。（4）为了验证深度强化学习算法在求解车间调度问题时的优势，本文分别在静态环境与动态环境下，将深度强化学习算法与单一调度规则、启发式搜索算法、传统强化学习算法进行对比，验证深度强化学习算法的实时性、动态性和灵活性。同时根据研究内容搭建可视化平台，便于调度人员操作。1.3.2论文的组织结构全文的结构如图1-3所示。图1-3论文整体框架Fig.1-3Overallframeworkofpaper论文分为六章，每章的主要内容如下：
【参考文献】：
期刊论文
[1]强化学习在运筹学的应用:研究进展与展望[J]. 徐翔斌,李志鹏. 运筹与管理. 2020(05)
[2]考虑生产过程时间的柔性作业车间调度优化[J]. 李峥峰,于小忠,张国辉,崔陆军. 工业工程. 2020(02)
[3]国内外智能调度研究现状、热点与发展趋势——基于CiteSpace的可视化对比研究[J]. 王婷,卫少鹏,廖斌,周彤. 工业工程. 2020(02)
[4]基于多目标的动态车间调度问题的策略研究[J]. 成荣荣,毕利. 现代制造工程. 2020(02)
[5]应用强化学习算法求解置换流水车间调度问题[J]. 张东阳,叶春明. 计算机系统应用. 2019(12)
[6]基于强化学习的生产再决策问题[J]. 夏金,孙宏波,孙立民. 计算机集成制造系统. 2019(11)
[7]面向智能制造车间的AGV系统调度算法设计[J]. 张祥祥,杨智飞,胡祥涛,苏春. 智能制造. 2019(09)
[8]求解柔性作业车间调度问题的多策略融合Pareto人工蜂群算法[J]. 赵博选,高建民,付颖斌,赵姣. 系统工程理论与实践. 2019(05)
[9]考虑作业返工的资源受限项目调度问题[J]. 廖怡娜,陆志强. 计算机集成制造系统. 2019(11)
[10]智能制造 调度为先——《制造系统智能调度方法与云服务》导读[J]. 张洁,秦威. 中国机械工程. 2019(08)
硕士论文
[1]机器故障下的柔性作业车间动态调度方法[D]. 陈超.江南大学 2019
[2]基于强化遗传算法的车间调度方法研究[D]. 钟慧超.华中科技大学 2019
[3]基于深度强化学习的紧急订单生产控制方法研究[D]. 刘民毅.东南大学 2018
[4]局部感知情形下的车间调度建模与优化[D]. 吉靖.合肥工业大学 2018
[5]机器故障下离散型制造企业稳健型重调度问题研究[D]. 谷和平.重庆理工大学 2018
[6]基于神经网络的不确定性动态Job-shop调度研究[D]. 张予昊.北京交通大学 2016
本文编号：3210753
本文链接：https://www.wllwen.com/shoufeilunwen/boshibiyelunwen/3210753.html
