基于深度学习的RTS视角的指挥决策方法研究

• 作 者: 刘通
• 出 处: 沈阳理工大学
• 发表日期: 2020年01期
• 关键词: 人工智能 即时战略游戏 决策系统 深度强化学习 分层强化学习

人工智能技术自诞生之日起,就不断地发展壮大,并且在许多领域的实际应用中取得了很好的效果。其中既有深度学习感知能力,又有强化学习决策能力的深度强化学习算法已经逐渐成为一个重点的研究方向,而电子游戏因其能够提供验证各种人工智能算法的研究环境,也被越来越多的研究者所青睐。即时战略游戏(Real-Time Strategy Game,RTS)作为诸多电子游戏中的一种,涵盖了多种人工智能的研究领域,如资源管理、不完全信息博弈、长期规划等问题。同时,即时战略游戏中复杂多变的环境,在一定程度上可以模拟出现实世界的问题,这一属性使其成为研究通用人工智能的优秀测试平台。因此,本文使用星际争霸游戏作为智能指挥决策方法的研究环境。《星际争霸Ⅱ》(StarCraftⅡ,SCⅡ)作为模拟战争策略类游戏,其中包含了很多策略,这些策略影响着游戏的走势,反过来策略也会随着时间的推移和环境的变化而不断改变。这就要求决策要具有一定的灵活性和有效性,传统基于脚本的游戏AI技术显然不能满足这方面的需求。因此,如何使指挥决策系统在复杂多变的情况下做出最优决策是本文的主要研究内容。本文针对即时战略游戏中如何制定最优决策这一问题,设计相关算法,主要工作和研究成果有:1.根据实验环境,确定获取全局状态信息所使用的网络模型。考虑到游戏中各个单位的数量和种类,同时为了保证信息的完整度和准确性,通过对Inception V1和Resnet 152两个网络的实验数据对比,选择出最适合本文实验的全局状态信息获取的网络模型。2.针对7个迷你地图任务,对DQN算法进行改进,经过初步迭代得到在局部任务中具有一定操作能力的Agent。3.为解决实验中策略空间和状态空间巨大带来的“维数灾难”问题,运用分层强化学习思想,对状态空间和策略空间进行分层次处理。经实验验证,采用分层任务网络的Agent在解决高维度决策问题上取得了很好的效果。