面向实时策略游戏微操的智能博弈决策方法

发布时间：2023-10-06 11:44

　　实时策略(Real-time Strategy,RTS)游戏微操是指操纵多个战斗单元以赢得遭遇战胜利,属于同步博弈问题,是人工智能(Artificial Intelligence,AI)领域最具挑战性的研究方向之一。现有解决方法主要分为搜索方法和多智能体深度强化学习(Deep Reinforcement Leaning,DRL)两种,分别通过在线搜索、环境交互式学习完成决策。在面对大规模战斗场景时,前者存在搜索效率下降和搜索空间有限的问题,后者存在学习困难和泛化性弱的问题,均难以保证决策性能。结合深度学习、蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)的思路在棋类问题上取得了巨大成功,为解决此问题提供机遇。本文融合学习与搜索的优势,由学习模型引导搜索过程,尽可能地搜索大概率存在最优解的动作空间。因此,先进行多智能体联合动作的端到端学习,再进行学习模型指导下的搜索决策。针对多智能体联合动作的端到端学习,通过特征设计和特征编码完成了状态表达,参考动作精炼思路完成了动作表达,提出了基于卷积神经网络的联合策略网络(Joint Policy Network,JPN)。...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 课题研究背景
    1.2 课题研究意义
    1.3 国内外研究现状
        1.3.1 面向实时策略游戏微操的搜索方法
        1.3.2 面向实时策略游戏微操的强化学习方法
    1.4 本文研究工作
    1.5 章节安排
第2章 相关理论与技术
    2.1 深度学习简介
        2.1.1 深度神经网络
        2.1.2 模型优化算法
    2.2 强化学习简介
        2.2.1 强化学习原理
        2.2.2 常见强化学习算法
    2.3 面向实时策略游戏微操的搜索方法
        2.3.1 蒙特卡洛树搜索方法
        2.3.2 组合贪婪搜索方法
        2.3.3 组合在线演化方法
        2.3.4 分层策略选择方法
    2.4 面向实时策略游戏微操的多智能体强化学习方法
        2.4.1 BiCNet方法
        2.4.2 OGTL方法
        2.4.3 PS-MAGDS方法
        2.4.4 IC3Net方法
    2.5 本章小结
第3章 实时策略游戏微操问题
    3.1 问题描述
        3.1.1 数学描述
        3.1.2 结合机器学习与搜索的算法框架
    3.2 实验评估方法
        3.2.1 实验平台概述
        3.2.2 性能评估
        3.2.3 实验环境搭建
    3.3 本章小结
第4章 基于卷积神经网络的联合策略网络
    4.1 引言
    4.2 算法概述
    4.3 状态表达
    4.4 动作表达
    4.5 基于卷积神经网络的联合策略网络
        4.5.1 模型结构设计
        4.5.2 损失函数
    4.6 实验及分析
        4.6.1 基本设置
        4.6.2 数据集构建
        4.6.3 模型训练
        4.6.4 模型预测性能评估
        4.6.5 模型决策性能评估
        4.6.6 模型耗时分析
    4.7 本章小结
第5章 结合深度学习与搜索的智能博弈决策方法
    5.1 引言
    5.2 算法概述
    5.3 改进搜索方法
        5.3.1 融合联合策略网络的组合贪婪搜索
        5.3.2 融合联合策略网络的组合在线搜索
        5.3.3 融合联合策略网络的自适应策略选择
    5.4 实验及分析
        5.4.1 实验基本设置
        5.4.2 算法决策性能评估
        5.4.3 算法性能增益评估
        5.4.4 结合机制有效性验证
    5.5 本章小结
第6章 总结与展望
    6.1 论文总结
    6.2 未来展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果



本文编号：3851789