【摘 要】
：
强化学习领域中策略单调提升的优化算法是目前的一个研究热点,在离散型和连续型控制任务中都具有了良好的性能表现.近端策略优化(Proximal Policy Optimization,PPO)算法是一种经典策略单调提升算法,但PPO作为一种同策略(on-policy)算法,样本利用率较低.针对该问题,提出了一种基于自指导动作选择的近端策略优化算法(Proximal Policy Optimiza-tion Based on Self-Directed Action Selection,SDAS-PPO).SD
【机 构】
：
苏州大学计算机科学与技术学院 江苏 苏州215006;苏州大学计算机科学与技术学院 江苏 苏州215006;苏州大学江苏省计算机信息处理技术重点实验室 江苏 苏州215006;吉林大学符号计算与知识工
论文部分内容阅读
强化学习领域中策略单调提升的优化算法是目前的一个研究热点,在离散型和连续型控制任务中都具有了良好的性能表现.近端策略优化(Proximal Policy Optimization,PPO)算法是一种经典策略单调提升算法,但PPO作为一种同策略(on-policy)算法,样本利用率较低.针对该问题,提出了一种基于自指导动作选择的近端策略优化算法(Proximal Policy Optimiza-tion Based on Self-Directed Action Selection,SDAS-PPO).SDAS-PPO算法不仅根据重要性采样权重对样本经验进行利用,而且增加了一个同步更新的经验池来存放自身的优秀样本经验,并利用该经验池学习到的自指导网络对动作的选择进行指导.SDAS-PPO算法大大提高了样本利用率,并保证训练网络模型时智能体能快速有效地学习.为了验证SDAS-PPO算法的有效性,将SDAS-PPO算法与TRPO算法、PPO算法和PPO-AMBER算法用于连续型控制任务Mujoco仿真平台中进行比较实验.实验结果表明,该方法在绝大多数环境下具有更好的表现.
其他文献
为了提高复杂网络链路预测的性能,采用拓扑相似和XGBoost算法来完成复杂网络链路预测.利用复杂网络拓扑结构建立邻接矩阵,求解共同邻居集合,然后根据拓扑相似理论计算复杂网络相似得分函数,将各个时间窗的得分函数和权重参数作为输入,采用XGBoost算法实现复杂网络的链路预测.通过差异化设置XGBoost算法的两个正则化系数,测试其对链路预测准确率的影响,获取最优正则化系数,从而得到稳定的XGBoost链路预测模型.实验证明,时间窗数量设置合理的情况下,相比常用网络链路预测算法,基于拓扑相似和XGBoost算
《2020年中国智能物联网(AIoT)白皮书》显示,随着我国5G网络的迅猛发展,大容量低价格的IoT(Internet of Things)传感器设备快速普及,数据呈爆发性增长,图像处理在物联网的诸多领域(如智慧城市、智慧交通、智慧医疗等)得到了广泛应用.在这些领域研究中,科研人员往往相对轻视数据收集过程中的实际问题,如天气变化、季节迁移、昼夜交替等时间变化带来的图像数据退化,以及随着物体移动、叠加、模糊、部分遮挡等诸多空间变化带来的噪声问题.其中,以雨天为代表的复杂天气下的图像模糊问题非常常见,也最具挑
自然场景下的文本信息通常具有多样性和复杂性的特点.由于采用手工设计特征的方式,传统的自然场景文字检测方法缺乏鲁棒性,而已有的基于深度学习的文本检测方法在各层网络提取特征的过程中存在丢失重要特征信息的问题.文中从多粒度和认知学的角度,提出了一种结合多粒度特征融合的自然场景文本检测方法.该方法的主要贡献是通过对通用特征提取网络的不同粒度特征进行融合,并加入残差通道注意力机制,使得模型在充分学习图像中不同粒度特征信息的基础上,更加关注目标特征信息并抑制无用的信息,提升了模型的鲁棒性和准确率.实验结果表明,相比其
文档的扭曲矫正是进行文档OCR(Optical Character Recognition)的基础步骤,对提高OCR的准确率有重要作用.文档图像的扭曲矫正常常依赖于文本的提取,然而目前文档图像矫正算法大都无法对复杂文档中的文本进行准确定位和分析,导致其矫正效果不理想.针对此问题,提出了一种基于全卷积网络的文字检测框架,并使用合成文档对网络进行针对性训练,可实现对字符、词、文本行三级文本信息的准确获取,进而对文本进行自适应采样并利用三次函数对页面进行三维建模,将矫正问题转化为模型参数优化问题,达到矫正复杂文
有效地对夜间车辆违规使用远光灯的行为进行管理,可以降低夜间交通事故的发生,但目前缺乏高效的远光灯检测方法,相关交通法规无法得到有效执行.针对此问题,文中提出了一种夜间车辆远光灯检测深度学习算法.该算法基于YOLOv3进行设计,通过降低各层卷积层维数的方式,来减少整体网络的参数量,提高算法的运行速度;然后对网络的残差组件进行改进,使用标准的残差组件,同时设计了一个空洞卷积模块来加强网络局部和全局特征的融合,增强了网络的特征表达能力;接着对YOLOv3的损失函数进行了改进,优化小尺寸目标对坐标损失的贡献,增强
在对行人重识别的研究中,联合使用从图像中提取的全身与局部特征已经成为当前的主流方法.但是许多基于深度学习的重识别模型在提取局部特征时忽略了它们在空间上的相互联系,当不同行人具有局部相似的外观时,这些局部特征的辨别能力会受到很大影响.针对该问题,提出了一种学习多粒度区域相关特征的行人重识别方法.该方法在对骨干网络提取的卷积特征张量作不同粒度的区域划分后,设计了区域相关子网络模块来学习融入空间结构关系的各局部区域特征.在区域相关子网络模块中,为了赋予局部特征与其他区域相关联的空间结构信息,综合利用了平均池化运
随着智能驾驶领域的发展,人们对目标检测的精度要求越来越高,尤其是针对高速行驶时对距离较远的小目标的检测和低速行驶时对密集目标的检测.在当前的两阶段检测框架的特征融合部分,使用bottom-up的双向融合方法虽然能够更有效地对大目标进行语义信息和位置信息的特征融合,但会给几个或几十个像素的小目标造成很大的信息损失.当检测网络特征融合部分使用top-down的单向融合方法时,则对大目标检测的效果欠佳.为此,文中提出了相邻特征融合(Neighbour Fea-ture Pyramid Network,NFPN)
随着自然语言处理技术的飞速发展以及互联网上对话语料的不断积累,闲聊导向对话系统(简称聊天机器人)取得了令人瞩目的进展,受到了学术界的广泛关注,并在产业界进行了初步的尝试.当前,聊天机器人分为检索式聊天机器人和生成式聊天机器人,而检索式聊天机器人由于其生成的回复流畅且计算资源消耗小,仍然是目前工业界聊天机器人的主要实现手段.文中首先简要介绍了检索式聊天机器人的研究背景、基本架构以及组成模块,重点阐述了回复选择模块的约束要求和相关数据集;然后,针对检索式聊天机器人中最为核心的回复选择技术,进行了深入分析与详细
相比传统的一问一答,交互式问答增加了对话上下文和背景等信息,这为理解用户输入和推理答案带来了新的挑战.首先,用户输入不再局限于问题,还可以是告知问题细节、反馈答案可行与否等带有意图的语句,因此需要理解对话中每个语句的意图.其次,交互式问答允许多个角色同时参与一个问题的讨论,为每个角色生成个性化的答案,因此需要理解对话中存在的角色.再次,当交互式问答围绕一段背景文本展开时,需要理解这段背景文本,并从中抽取出问题的答案.文章对交互式问答的发展及前沿动态进行了调研,分别对无背景交互式问答、有背景交互式问答以及迁
无人机三维路径规划是一个比较复杂的全局优化问题,其目标是在考虑威胁和约束的条件下,获得最优或接近最优的飞行路径.针对鲸鱼算法在进行无人机三维航迹规划时,存在容易陷入局部最优、收敛速度较慢、收敛精度不够高等问题,提出了一种基于莱维飞行(Lévy flight)的鲸鱼优化算法(Levy Flight Based on Whale Optimization Algorithm,LWOA),用于解决无人机三维路径规划问题.该算法在迭代过程中加入了Levy飞行对最优解进行随机扰动;引入了信息交流机制,通过当前全局最