论文部分内容阅读
下一代移动通信系统是高度集成多种异构无线网络技术的。不同无线网络之间互相融合,通过提供额外的资源可以达到技术互补的效果。例如,3GPP在制定第四代通信标准过程中,为了保持蜂窝通信技术的优势地位而提出的长期演进(Long Term Evolution,LTE)具有广覆盖但高速率接入的代价高特性,而无线局域网(WLAN)虽然覆盖范围有限,但可以提供低代价的高速率传输。这两种无线网络的集成近几年已经成为研究的热点。尤其是视频交付业务,已经成为当前流行的用户业务类型。作为无线资源管理(Radio Resource Management,RRM)的一个重要组成部分,呼叫接纳控制用来判断是否允许一个新的呼叫或切换请求接入到资源受限的网络中去。现有的异构网络在用户体验、网络特性、覆盖范围等方面存在很大差异,运营商通常采取提高QoS保证服务质量来提升用户体验(Quality of Experience,QoE),进而吸引更多用户,最大化其收益。单纯的提升某一QoS客观指标,并不能完整体现用户对业务的主观感受。Q学习既不需要对环境进行数学建模,也不需要专家的训练指导,具有很强的环境适应性,但常见的Q学习算法的收敛性不稳定,且解空间容易陷入局部最优解,很难收敛到全局最优解。鉴于以上问题,本文从用户体验出发,综合考虑多种QoS因素对视频交付业务的影响,提出一种基于模拟退火策略下Q学习的LTE/WLAN异构网络接纳控制算法。本文的研究思路为:首先,详细地分析了异构网络接纳控制理论与模型,并给出标准Q学习理论及方法。然后将Q学习方法映射到异构网络接纳控制算法中,在异构网络接纳控制实现Q学习自主学习过程。其次,为了平衡学习过程中探索和利用的关系,本文利用模拟退火中的Metropolis准则用来改进Q学习算法中动作选择问题并将其应用于异构网络接纳控制中,使得算法收敛性、负载均衡以及系统容量方面有所提高。再次,在Q学习的回报函数中考虑了用户体验,能够更好的反映用户对业务的主观感受,在减少垂直切换次数的同时提高了无线资源利用率。最后,建立了Q学习接纳控制系统模型,选择合理的系统参数,将本文提出的算法和基于负载均衡(Load Balancing,LB)算法,基于WLAN优先算法就不同的用户到达率下的网络主要性能指标分别进行了对比分析。数据分析和仿真结果表明,本文提出的基于模拟退火策略下Q学习异构网络接纳控制算法考虑了可用位速率、接入时延、信号强度和接入代价等影响用户QoE的网络特性,得到较低的新会话阻塞率、会话中断率,切换频率以及较高的系统资源利用率。