【摘 要】
：
在控制和机器人技术研究领域,我们经常面临具有挑战性的决策问题:数据稀有或是过程复杂且部分未知。在这些情况下,设计一种能够从数据中学习并用于决策的算法具有很大的意义。强化学习（RL）是基于经验、目标导向的通用计算方法,可用于不确定下的决策问题。但是,在没有特定的工程知识的情况下,RL通常需要与环境交互多次,即缺乏交互效率。因此,针对数据稀缺（较少交互）的控制决策问题,本文研究了基于模型的强化学习,提
论文部分内容阅读
在控制和机器人技术研究领域,我们经常面临具有挑战性的决策问题:数据稀有或是过程复杂且部分未知。在这些情况下,设计一种能够从数据中学习并用于决策的算法具有很大的意义。强化学习（RL）是基于经验、目标导向的通用计算方法,可用于不确定下的决策问题。但是,在没有特定的工程知识的情况下,RL通常需要与环境交互多次,即缺乏交互效率。因此,针对数据稀缺（较少交互）的控制决策问题,本文研究了基于模型的强化学习,提出了一种基于局部高斯过程回归的数据高效强化学习算法。本文使用高斯过程回归来学习概率动力学模型,通过概率分布的形式来量化从数据中学习得到的知识。为了解决高斯过程回归算法复杂度与样本数量呈三次方的高计算成本问题,提出局部高斯过程回归,其本质思想是“分而治之”。首先使用K-means聚类算法将总体样本分割成局部的小样本,然后分别在小样本中学习局部高斯模型,最后通过加权平均局部模型得到最终的动力学模型。强化学习的目标是最大化长期回报的数学期望,利用概率动力学模型预测未来的收益。本文研究并推导了长期的状态分布,通过分析比较多种状态演化预测方法,最终选择基于蒙特卡罗采样方法:它不需要显示地计算每一步的回报值,而是将整个过程的期望回报分为实际的奖励函数和噪声,并假定噪声的数学期望为0,这样我们研究的问题转化成了带噪声的函数优化问题。本文研究了分布估计算法,用以解决最优策略搜索问题。在本文中采用了协方差矩阵自适应进化策略（CMA-ES）,该算法是一类优秀的黑盒优化器,尤其用于解决带噪声优化问题的。该算法引入两条进化路径来弥补种群数量的稀缺,一条是考虑所有代种群,第二条是考虑个体的进化方向,即演化路径。将两条进化路径结合后能够实现策略寻优。本文最后使用二阶倒立摆来验证算法的有效性和数据高效性。二阶倒立摆是一类非线性、高耦合的欠驱动动力系统,我们使用Gym和MuJoCo半物理仿真平台。通过和经典的数据高效算法PILCO进行比较,验证了局部高斯过程回归能够有效解决高斯过程回归的高计算成本问题,同时也验证了CMA-ES能够搜索到比梯度算法更优的结果。
其他文献
本文从一种平行导路的6-HTRT并联机器人出发,以其在飞机蒙皮铆接中作为内部顶铆机器人的实际应用为目标,研究了并联机器人位置正逆解、力学分析、误差标定补偿,控制系统研发等关键技术。在稳定可靠的前提下,尽量发挥并联机器人的结构优势,与其它设备协作实现飞机装配自动化。首先,研究了6-HTRT并联机器人的位置正逆解。位置逆解使用几何矢量法,并编写3D可视化程序验证逆解的正确性。位置正解使用了线性化的思想
机械臂因为能够代替人类执行一些复杂和较难的任务,被越来越多地应用在工业机器人、医疗机器人等机器人领域。轻型机械臂具有体积小、重量轻、操作灵活等特点,一般由6～7个旋转关节串联构成,从而实现多自由度运动,因此提高机械臂控制性能的关键在于提高机械臂每个关节的控制性能。本文以实验室自研的7自由度轻型机械臂为研究对象,为其设计了一套电流、速度双闭环的关节伺服控制算法,并将算法用Verilog硬件描述语言实
随着深度学习技术的蓬勃发展,对话系统的研究和应用迅速增长,如Siri、Cortana、谷歌助手等。相应地,这些产品也成为长辈和孩子的情感伴侣、在线客服、移动终端中的虚拟助手和网上购物和消费的智能指南。与前面提到的虚拟助手不同,智能导购的应用刚刚受到产业界和学术界的关注,亚马逊、Ebay、淘宝、京东、Yelp等智能导购通常扮演店员或顾问的角色,为移动终端用户推荐商品、店铺、餐厅、服务等,让他们的日常
自主抓取分拣操作是家居机器人实现智能化的关键,具有自学习能力的深度强化学习在面向非结构化家居环境中的机器人操作任务上有巨大优势,但是在实际应用中存在着算法所需样本量过大、训练时间过长,造成收敛困难与训练成本过高等问题。本文基于自编码与好奇心模型,结合深度强化学习算法,对家居环境下的机械臂自主抓取与分拣方法进行了研究。首先,本文针对高维状态与奖励稀疏造成强化学习样本使用效率低,使得收敛困难的问题,对
角振动台是用于进行振动测试的实验设备,通过将被测试件固定在角振动台表面,利用角振动台的振动来模拟试件在振动中的受力情况,以此对被测试件的使用寿命和抗振能力进行测试。角振动台最初由航空航天领域发展而来,目前已经推广汽车、船舶、建筑等重要工业领域。对于正弦振动波形的高精度复现是角振动台研究的一项重要内容,正弦振动一般是模拟回转机械引起的振动,或结构固有频率处的振动,用于考核振动强度和疲劳强度。同时,对
在柱状钢制电池壳的生产和运输过程中,由于材料、冲压工艺、摩擦、碰撞等原因,会在个别电池壳上产生拉伤、划擦、凹坑等缺陷,严重影响着产品质量,甚至会造成安全隐患。本课题受计算机视觉技术的启发,基于神经网络技术检测电池壳的表面缺陷,对于与电池壳类似的反光回转体的缺陷检测研究具有借鉴意义。本文的主要工作内容如下:分析了电池壳缺陷检测的特点和存在的难点,确定缺陷检测的总体方案。使用机器视觉技术对电池壳缺陷进
随着科技的发展,曾经的人力工作越来越多的被机器人工作所取代,机器人的使用开始进入各个领域,随之出现的机器人示教技术也开始被人们重视,此前机器人的操作员都是一群有一定机器人学基础的人,但随着机器人的推广,机器人的使用者不再局限于那些知识分子,如何设计出一套同时满足示教精度高和上手门槛低两点的示教系统变成了机器人想要进一步发展和“出圈”需要解决的重要问题。这次毕业设计选择设计一款基于MEMS惯性传感器
心血管疾病是世界范围内损害人类健康的严重疾病,每年因心血管疾病死亡的人数正逐年递增,因此及早预测心血管疾病成为了医学领域内研究的重点之一。目前临床通过刚性传感器对人体进行连续动脉压检测,而这些商业化的检测产品无法做到对人体实时、连续、长期的监测。因此,本课题拟开发一种能够实现微型化、集成化和智能化的柔性超声波微传感器,它可以佩戴在人体手腕处实现实时血压波形监测。这种无创监测方式为预防心血管疾病和完
室外场景下的SLAM技术是机器人研究领域一大热点,是军事攻防、搜救、探索等领域的核心技术之一。论文重点研究室外大场景下无人系统定位优化、回环检测两部分内容,其中回环检测部分需要考虑到回环误匹配问题。该研究内容旨在解决智能无人系统在室外环境特征缺失情况下,传感器测量误差增大,场景干扰多,噪声大导致的定位精度降低,无法构建全局一致性地图的问题。论文中,合理利用多传感器信息,研究设计融合外观和几何信息回
随着工业化的发展,信息时代的到来,智能机器人在制造、交通、物联网以及智能服务方面扮演了重要角色。室内场景智能机器人针对清洁作业任务,展开了围绕自主智能清洁平台技术的研发,其中首先需要实现场景高精度语义地图协同构建及自主增量式更新,确保在复杂环境下可以准确找到自身定位,实现避障,进而完成清洁任务。对于作业环境,由于是在室内进行工作,全球定位系统（Global Positioning System,G