论文部分内容阅读
智能水下机器人(Autonomous Underwater Vehicle,AUV)是探索海洋的重要工具,对海洋开发和海洋资源探索起到了重要的作用,路径规划是智能水下机器人领域的重要技术之一,贯穿了AUV水下航行的始终,是其完成水下作业任务的基础。机器人的智能学习是近年来各个领域的研究热点,本文将分层强化学习方法应用到AUV的路径规划任务中,赋予智能机器人自学习能力,提高AUV的环境自适应性。主要研究以下几点内容:1)深入分析了分层强化学习方法的理论与应用,提出半马尔可夫决策过程,引入抽象的思想进行任务分层以解决强化学习的维数灾问题,基于MAXQ学习算法建立AUV路径规划任务的三层结构,包括:根任务层、子任务选择层、行为动作层,并为每一层设计了相应的决策策略;2)基于分层思想并结合半马尔可夫决策理论对AUV系统进行全局路径规划设计:搭建基于全局路径规划的AUV任务分层结构,建立路径规划任务的评价函数和AUV全局路径规划所需要的各个数学模型,设计了一种全局路径优化的算法弥补了栅格法搜索路径的不足,搭建AUV全局路径规划仿真平台进行仿真试验以验证算法的准确和实用性;3)基于分层强化学习方法设计AUV局部路径规划任务:建立AUV局部路径规划系统模型,为了提升学习效率和降低学习难度,采用CMAC网络来存储每个学习动作的Q值表以优化MAXQ算法,设计局部路径规划分层框架,搭建AUV局部路径规划仿真平台,进行仿真试验,表明分层强化学习提高了AUV的水下环境自适应性。本文将AUV的全局路径规划和局部路径规划结合,提高了AUV水下作业航行的效率;在路径规划模型中加入了海流因素的影响,使环境模型更加贴近于实际;利用自学习的思想,提高AUV在动态复杂海洋环境下的自适应性和自主作业能力;对于AUV安全、可靠、高效自主完成远程航海与地形勘察作业使命,具有重要理论意义及实际应用价值。