无人机辅助蜂窝网络中动态缓存放置与资源分配算法研究

• 作 者: 王子端
• 机 构: 北京邮电大学
• 出 处: 北京邮电大学
• 发表日期: 2021年01期
• 关键词: 边缘缓存 增强学习 资源分配 无人机
• 基金项目: 国家自然科学基金项目“无人机辅助蜂窝网络中多级协同缓存方法研究”；

无人机由于其低成本,易部署和通信链路可靠等优势,成为实现应急通信、热点区域覆盖等作用的有效技术之一。在热点覆盖场景中,存在大量重复请求的多媒体内容分发需求,大量内容传输与通信资源受限的矛盾导致无人机辅助蜂窝网络的传输能力难以满足用户需求。针对其中热点内容重复请求的情况,无人机部署存储设备缓存热点内容,从而有效卸载无线回程链路的流量并满足用户对低内容传输时延的需求。此外,无人机的移动特性使得无人机通信网络呈现动态变化特点,因此需要解决动态场景中的缓存放置与资源分配问题。本论文选题于国家自然科学基金项目“无人机辅助蜂窝网络中多级协同缓存方法研究”。对无人机辅助蜂窝网络中的缓存放置与资源分配算法进行研究。分别考虑单无人机辅助蜂窝网络和多无人机辅助蜂窝网络两种场景,并提出单无人机辅助蜂窝网络中缓存放置与资源分配联合优化算法、多无人机辅助蜂窝网络中缓存放置与资源分配联合优化算法。论文的主要工作如下:1)对无人机辅助蜂窝网络缓存放置与资源分配算法的研究背景和研究现状进行了综述。首先介绍了无人机辅助蜂窝网络的研究背景,并针对应急通信和热点区域覆盖等热点应用中的研究现状进行了梳理。然后对无人机辅助蜂窝网络中缓存放置和资源分配相关研究进行了总结。2)在单无人机辅助蜂窝网络场景中,针对无人机飞行轨迹和用户内容请求动态变化引发的无人机缓存放置、用户内容请求调度和用户功率分配联合优化难题,提出了一个基于马尔科夫决策的动态缓存放置与资源分配联合优化算法。首先,提出了最小化长期内容传输时延的缓存放置与资源分配优化问题,并将该问题描述为一个马尔科夫决策过程,无人机作为代理来执行缓存放置和资源分配动作,资源分配包括内容请求的调度和用户间功率分配。为了解决该问题,提出了基于增强学习的缓存放置和资源分配算法,其中利用软贪心策略对动作进行学习和选择,以寻求动作与状态的最佳匹配。针对动态网络中基于增强学习联合优化算法的Q表随着状态个数的增加而增大的问题,采用基于方程近似的随机梯度下降与深度神经网络相结合的算法,该算法适用于大规模网络。仿真结果表明,与基准算法相比,本文所提算法实现较低的内容传输时延,并且在网络性能和计算复杂度之间取得了折衷。3)在多无人机蜂窝网络场景中,针对用户兴趣和用户位置动态变化引发的缓存放置与资源分配联合优化难题,提出了一种基于斯塔克尔伯格博弈的缓存放置与资源分配联合优化算法。首先,构造了内容传输时延最小化问题,联合优化用户接入、用户间功率分配、无人机位置部署和无人机缓存放置。提出了一种基于分枝定界的联合优化算法最优化单时隙内容传输时延。针对实际场景中用户的动态内容请求和移动性以及无人机的移动性,将原优化问题转化为斯塔伯格博弈。具体来说,该博弈被分解为一个领导者用户接入子问题和多个追随者功率分配、无人机位置部署和缓存放置子问题。基于深度强化学习联合优化算法进一步解决了长期内容传输时延最小化问题。仿真结果表明,基于分支定界联合优化算法在每个时隙内都能得到最优解,其内容传输时延大大低于对照算法。同时,基于深度增强学习的联合优化算法在动态环境下实现了相对较低的长期内容传输时延,且计算复杂度低于基于分枝定界联合优化算法。