基于深度强化学习的生鲜产品零售商库存控制研究

• 作 者: 孙鹏
• 出 处: 北京信息科技大学
• 发表日期: 2020年01期
• 关键词: 强化学习 Q学习 DQN 库存控制 生鲜产品 订货策略

近年来伴随着人们生活水平的不断提高,生鲜产品的销售模式也得到了快速的发展,由此引发了生鲜产品供应链上的各个环节的库存成本不断提高,供应链末端的生鲜产品零售商的库存成本居高不下。由于生鲜产品零售商的库存受到储存产品种类繁杂、存储空间有限、产品生命周期较短等因素的影响,导致了生鲜产品零售商的库存成本难以得到有效的控制。针对此类现象为生鲜产品零售商制定一个高效合理的库存控制策略显得尤为重要。本文为了降低生鲜产品零售商的库存成本,制定一个符合实际需求的库存控制策略,主要从以下两方面开展研究:(1)基于Q学习的库存控制模型研究本文针对电商行业中生鲜产品零售商的库存成本控制问题,充分考虑生鲜产品零售商的库存限制因素及成本控制中不可忽视的损腐率、过期成本、缺货成本等现实因素,根据当前生鲜电商企业供应链体系面临的痛点问题,通过设计强化学习四元组(环境状态观测、智能体行动、状态迁移、奖励),构建了一个基于Q学习算法的生鲜产品库存成本控制模型,选用基于不同特征值参数的泊松分布用户需求数据,进行训练与测试模型。仿真实验表明,在需求分布、产品生命周期、产品提前期已知的情况下,生鲜产品零售商采用基于该模型的订货策略能够有效降低生鲜产品的损腐率,进而达到降低库存成本的目的。该模型的库存成本控制策略与传统的库存成本控制策略如经济订货批量策略相比,能够在充分贴合实际情景的前提下更有效的控制库存成本。(2)基于DQN算法的模型优化研究基于Q学习算法的生鲜产品库存控制模型与传统的经济订货批量模型相比在库存成本控制方面已经取得了显著的改善效果,但是由于Q学习算法本身存在状态空间与动作空间受限、模型训练速度慢等问题,导致了该模型在处理髙维度和体量较大的数据时存在瓶颈。为了满足实际业务需求,本文引入深度学习与强化学习相结合的方法来解决该问题。仿真实验表明,DQN算法恰好可以解决Q学习算法无法处理的维度灾难问题,在需求分布、产品生命周期、产品提前期已知的情况下,基于DQN算法的库存控制模型与基于Q学习算法的库存控制模型相比,前者不仅能够进一步降低生鲜产品的损腐率和库存总成本,而且还解决了维度灾难问题,在如今的大数据时代可以得到更广泛的应用。由此可见,基于DQN算法的生鲜产品零售商库存控制模型具有更强的应用价值和更广泛的适用性。本文针对生鲜产品零售商的库存成本控制问题,从实际应用角度出发,提出了基于Q学习的库存控制模型和基于DQN的库存控制模型,在相同实验环境下与经济订货批量模型进行了库存成本对比实验。仿真实验证明基于Q学习的库存控制模型能够较好的降低生鲜产品零售商的库存成本,并且该模型为生鲜产品的库存控制策略提供了模型基础。基于DQN的库存控制模型在降低生鲜产品零售商的库存成本上有更显著的效果,从而突出了本文的研究价值和实用性。