基于强化学习的AUV路径跟踪方法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:qiuyu19900318
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来自主式水下机器人(Autonomous Underwater Vehicle,AUV)已成为人类探索海洋的重要装备,并且随着人类对海洋认知的不断深入,AUV相关技术得到了不断发展,更高的自主性与机器智能成为AUV的发展目标。针对提升AUV的自主性与智能性这一实际要求,本文依托于十三五装发预研项目“智能系统设计技术”,基于强化学习方法,对AUV的路径跟踪问题展开研究。具体研究内容包括:首先,为了分析强化学习理论如何用于提高控制自主性与智能性,本文首先对强化学习理论进行介绍,并基于强化学习理论设计Q学习控制器,设计相关仿真试验,分析该控制器用于AUV速度与艏向控制的优缺点。针对Q学习控制器存在的控制精度差的问题,重新对强化学习四元组定义,设计了强化学习S面控制器,并在此基础上针对训练速度慢的问题设计神经网络强化学习S面控制器,通过仿真试验验证其控制性能与训练速度。其次,本文基于神经网络强化学习理论对视线法路径跟踪方法展开研究。由于视线法(Line-of-Sight,LOS)的跟踪性能在极大程度上取决于底层控制器的性能,本文以神经网络强化学习S面控制器为视线法路径跟踪的底层控制器开展仿真试验,验证其在无干扰与海流干扰下的控制效果。然后,本文对基于跟踪误差动力学推导的路径跟踪方法进行公式推导,根据神经网络强化学习参数优化方法设计了神经网络强化学习路径跟踪控制器,针对控制器的直线与曲线路径跟踪开展了仿真试验,以验证改进路径跟踪控制期对于提升AUV控制自主性与智能性的效果。最后,通过对本文改进的两种跟踪方法的对比,分别从控制性能、控制器设计难易程度以及对强化学习方法优化的敏感程度三个方面对其各自性能进行了阐释,分析两种跟踪方法的适用条件。
其他文献
本报告介绍关于欧洲慕课(MOOCs)发展状况的论文集的翻译实践。慕课即大规模开放在线课程,是“互联网+教育”的产物,现已成为教育领域热议的话题和争相实践的热点。该论文集是由欧洲远程教育大学协会整理发布,综合展示欧洲慕课的发展状况、所遇挑战和机遇、未来走向等。笔者希望本次翻译实践能为我国的慕课发展提供一些借鉴。本报告共分为四大部分。第一部分介绍项目的基本情况。第二部分介绍项目实施的细节,包括笔者遵循
玉米生产涉及一、二、三产业,应用领域广泛、消费市场不断扩大,因而国内的玉米需求呈现不断增大的态势,与玉米国内需求扩大形成矛盾的是玉米库存积压、生产与需求不相匹配。我国玉米生产与发达国家存在差距,要素投入不够合理,农业技术投入水平较低,加上规模化发展程度较发达国家落后,玉米生产成本较高,玉米价格在国际市场上长期处于劣势。2011年之后,玉米国际贸易格局发生重大转变,玉米的国际价格(以美国为例)长期低
疾控中心档案不仅是预测疫情、制定防控策略、实施公共卫生监测、研究预防医学的重要参考,同时也是我国公共卫生事业发展的重要资源。本文针对疾控中心档案管理中存在的电子
水是生命之源,为人类生产生活提供基本保障。随着现代技术的发展,水域的作用越来越大,但伴随经济的发展和人口的增长,我国的水污染现象凸显,已经严重的威胁到了人们的正常生活。目前,我国有超过2/3的地区存在水污染和缺水的情况区。党的十九大报告中要求“要加快水污染防治,实施流域环境和近岸海域综合治理”。四川省委十一届三次全会作出的《关于全面推动高质量发展的决定》,针对流域污染严重问题,提出“加强沱江、岷江
这几年,中国不断推动城市化发展的步伐,而对于农民在一定时间内转变成为市民的相关问题也逐渐显现,同时也要考虑到农民就地市民化方面的问题。前者已经在具体实践当中得出了一些结论,并且逐步去改进,但是后者因为本身有着独特的性质,同时受数量上的制约,所以受关注度不高。对于城镇化当中进入到城市生活的农村人口,转换为城市市民身份的原农村人口,他们在心理上、职业上、生活上和身份转换上,未来的发展趋势目前并不明晰,
本文以Z农产品公司的营销策略为研究对象,运用市场营销有关理论知识对Z农产品公司的市场营销策略进行了研究。本文通过PEST分析,波特五力模型,SWOT分析,STP分析及4P理论和新
详细介绍了华润电力蒲圻电厂二期(2×1000MW级)超超临界燃煤发电机组工程锅炉、吊装机械的布置方案及实际应用效果,既考虑到锅炉受热面的吊装,又考虑到经济适用的要求,并提出
一个国家的存在,既然有其内部结构和功能,那么国家的运行就必然要产生与之相应的管理制度。管理制度不仅为国家的运行提供保障,还对其系统内部的行为进行约束,维系着国家有效
血源性脑转移瘤的发病率较高,临床预后极差。血源性脑转移影响因素错综复杂,近年研究发现血管生成在转移灶形成等肿瘤生物学行为等方面起着重要作用。但是,目前对血源性脑转移缺
近年来,二语写作和二语习得之间的关系问题日益受到了研究关注。书面反馈对于学习者的显性语法知识和隐性语法知识有何影响成为了一个关键问题。元语言反馈能针对错误语法点的性质提供元语言信息。已有研究探索了元语言聚焦反馈和显性语法知识之间的关系,然而对于元语言非聚焦反馈对语法知识影响的探究尚不充分。因此,本文在进行元语言反馈时采用了聚焦和非聚焦两种策略,分别探究其对语法知识的作用并进一步讨论了两种策略对语法