【摘 要】
：
本文针对现有针对较小规模路网的交通信号控制研究进行了深入研究,并提出了面向城市区域道路交通的信号控制算法,并设计实现了相应的信号控制系统。为解决现有集中式强化学习方法存在的维度问题,本文提出了基于单智能体的集中式交通信号控制算法。该算法利用循环神经网络LSTM,通过分治法对状态-动作空间进行分解,适用于较大规模的区域路网。LSTM能够分解状态空间,并且在一定程度上建立路口之间的相关性联系从而提高算
论文部分内容阅读
本文针对现有针对较小规模路网的交通信号控制研究进行了深入研究,并提出了面向城市区域道路交通的信号控制算法,并设计实现了相应的信号控制系统。为解决现有集中式强化学习方法存在的维度问题,本文提出了基于单智能体的集中式交通信号控制算法。该算法利用循环神经网络LSTM,通过分治法对状态-动作空间进行分解,适用于较大规模的区域路网。LSTM能够分解状态空间,并且在一定程度上建立路口之间的相关性联系从而提高算法的性能。该算法使用PPO算法进行训练,对比Q-learning的算法可以减少训练时长并提高训练时的稳定性。相较于其他集中式强化学习算法,该算法具备路口规模的优势;相较于其他非集中式强化学习算法,该算法参数数量较少,易于训练。此外,本文改进了算法,提出了基于时空信息的集中式交通信号控制算法,以解决未利用时空信息的问题。该算法针对时间和空间信息进行设计,使得模型能够感知时空信息。在时间信息上,通过设计基于GRU的动作反馈系统让模型能够获取之前时刻的信息;在空间信息上,通过加入GAT单元获取邻居节点信息,从而让智能体决策的过程中考虑邻居的状态。通过获取之前时刻的信息并考虑邻居状态,对智能体的结构进行改进,提升了智能体的决策效果。针对LSTM只能记忆短期信息的问题,本文采用了Transformer-LSTM结构进行改进。通过让Transformer预处理特征,并使用LSTM进行动作决策,模型增强了对状态的感知能力,从而提升了效果。Transformer使用了自注意力机制,能够并行运算,保持较长的记忆。而LSTM对短期记忆进行处理,利用之前路口的信息完成决策工作。本文也通过消融实验证明了各个组件的有效性。本文在各章节通过实验验证了本文算法的有效性,在真实数据集和合成数据集上都进行了实验,并且与几种传统的控制方法和深度强化学习方法进行了对比,表明了方法的优越性。最后,本文基于以上算法,设计实现了基于区域路网与快速适应的交通信号控制系统,该系统可用于模型训练和交通控制仿真模拟工作。
其他文献
上世纪90年代以来,信息化以迅雷不及掩耳之势席卷全球,我国公安机关为适应信息化的发展趋势,全面实施科技强警战略,启动了公安信息化建设。而社区治安防控是公安机关的基础性工作,社区治安防控的信息化建设也是当前公安信息化建设的重中之重,也是提升公安基础工作信息化和信息建设基础化的主要手段。随着大数据的飞速发展,其对民众生产生活的影响也是与日俱增,这就对新时期的警务工作和公安信息化有了新的要求和发展方向。
目的 设计评价是设计质量提升的重要手段，为提升革命文物三维模型展示效果，对其设计评价指标体系进行构建研究与应用验证。方法 首先，利用Nvivo软件进行文献分析，结合人工解读和补充，实现初步评价指标体系的构建；其次，运用德尔菲法和两轮问卷调查对初步拟定的指标体系进行筛选、优化和增设；再次，采用层次分析法对各指标权重进行计算赋值；最终，构建完成了一套具有4个一级指标、12个二级指标、36个三级指标的评
目的 为响应国家乡村振兴战略，弘扬中华优秀传统良渚“玉”文化，对常州市溧阳天目湖镇梅岭村的梅岭玉博物馆的展示空间进行沉浸式设计规划与策略研究。方法 通过VR虚拟现实技术、交互设计、数字化媒体等科技手段来探索乡村博物馆空间设计新模式，分别从沉浸式体验模式探索、虚拟现实技术在梅岭玉博物馆中的应用，跨媒介与数字化空间体验等方面探索沉浸式体验设计策略，参与乡村振兴实践活动过程来提出可行性规划与构想，努力探
＜正＞设计说明：本产品是基于陕西凤翔泥塑传统造型元素设计的一套动态文创玩具。该产品选取陕西凤翔泥塑中的典型动物造型，诸如：狗、猴、虎、牛、羊和猪等，运用现代设计的手法重新分模块设计典型动物的面部表情，并通过创新性的动态机械结构实现动物表情的丰富变化。当拉动玩具下部的线绳，动物头部内的机械结构可以驱动可运动的五官，让传统的静态的文化遗产活起来和动起来。产生趣味的同时，也能够更大程度的拓展人们对中国传
目的：分析CT增强扫描与MRI对原发性肝癌的诊断价值。方法：选取2019年1月—2022年12月灌云县中医院收治的60例疑似原发性肝癌患者，对所有患者行CT增强扫描与MRI诊断,以手术病理结果为金标准，对比两种方式对不同类型疾病的检出率及疾病诊断效能，另对比两组成像质量。结果：CT增强扫描与MRI检测灵敏度、特异度、准确率、阳性预测值、阴性预测值比较差异均无统计学意义（P＞ 0.05）；两种方式对
本文介绍了DRQF-50-0.4-KT常开式燃气紧急切断阀的设计结构、工作原理及主要技术参数和应用事项，为燃气切断阀的设计应用提供参考。
党的二十大报告明确了教育、科技、人才的基础性战略性支撑作用，为职业教育提出了新的目标任务。面对新劳动业态下的技能社会新变化、新形势、新需求，职业教育需要不断增强适应性，在动态变化中实现高质量发展。从共生维度看，职业教育与技能社会具有强耦合逻辑，体现在人力资源供求链中的技能人才培育、大国工匠孵化池上的技能元素流通、技艺传承传播面下的技能学习服务等三个方面。技能视角下，职业教育需面对技能应用于社会分工
目的鉴别四川产亚大黄,并测定其大黄素、大黄酚的含量。方法采用显微鉴别、TLC法对药材进行鉴别,用HPLC法测定大黄素、大黄酚的含量。结果 TLC法鉴别亚大黄的专属性强;建立了HPLC测定疏枝大黄中大黄素、大黄酚含量的方法。结论所用方法操作简便、结果准确、重复性好,可用于四川产亚大黄的质量控制。
针对燃气、烟气、毒气等介质输送管道用阀门密封要求零泄漏、安全可靠、使用寿命长等特点，研制出一种新型燃气切断阀，该阀门采用在双闸板双密封座闸阀中腔充水密封的方式，实现管道介质的完全切断和流通，确保密封零泄漏；两闸板中腔采用丝杆丝母压紧楔块膨胀楔紧密封，关闭阀门时，丝杆轴向力通过楔块转化为密封副密封力，密封可靠；开启阀门时，丝杆提起楔块，闸板与阀体密封座瞬间脱离，密封副无摩擦、无磨损、启闭轻便、使用寿
本文简述工程机械行走系统在液压传动泵控马达闭式系统的工作原理及特点,指出行走闭式液压系统将在工程机械行走驱动系统的发展中发挥出越来越重要的作用,是行走驱动系统未来发展的趋势。