论文部分内容阅读
新零售业的出现和迅速发展，衍生出许多新的无人实体形式，基于视觉的智能货柜作为一种小型便利实体，正在逐步替代自动贩卖机，其机械装置少损坏率低，开门选购灵活方便，无需等待，具有良好的发展潜力。智能货柜场景多变导致环境光线变化大、开门阶段柜门运动使得背景不稳定、视频图像中存在许多无关运动区域、交易过程中商品有拿取有放回，这些特征导致该场景中的商品识别率低，目前尚无完善的技术方案，因此需要针对实际场景需求设计稳定可靠的商品识别方案。
本文设计了一种基于目标检测与跟踪的商品识别系统，用于描述智能货柜商品交易过程，评估交易结果。实际的货柜商品交易视频图像中存在大量的柜内外无效区域，通过选择ROI(RegionofInterest，感兴趣区域)排除无效区域中的运动干扰，同时减少系统计算量。智能货柜在图像采集之后会经历一段不固定时间的开门阶段，开门后选购商品的时间往往很短，很难建立一个稳定且快速更新的背景模型，本文分析三种运动目标检测算法原理，提出一种基于形状特征的优化三帧差法检测运动目标，利用运动目标形状特征滤除无关的分离运动，利用帧差产生的空洞消除与商品连结的手臂运动；考虑到商品区域也会同时减小，提出一种基于肤色状态的窗口优化方法，将独立的商品检测问题转化为具有肤色依赖特征的问题，获得更加准确的商品信息和商品定位，并对商品进行跟踪，同时设计了匹配函数验证商品跟踪的准确性。本文还提出一种基于轨迹平滑的行为判断方法，估计运动状态并组合以划分行为模式，避免商品重复识别与错误识别。最后基于自建商品数据集，利用InceptionV3网络对商品图像进行分类，结合行为模式给出商品识别结果。
本文通过商用视频对商品识别系统进行测试，在单次拿取视频和多次拿取视频测试中，识别准确率分别达到74.5%和70.7%，具有较好且平稳的表现，其中，对检测目标的行为判断的准确率分别为80.8%和73.2%，证明本文提出的检测和行为判断方法对智能货柜的复杂应用场景具有一定的鲁棒性。
本文设计了一种基于目标检测与跟踪的商品识别系统，用于描述智能货柜商品交易过程，评估交易结果。实际的货柜商品交易视频图像中存在大量的柜内外无效区域，通过选择ROI(RegionofInterest，感兴趣区域)排除无效区域中的运动干扰，同时减少系统计算量。智能货柜在图像采集之后会经历一段不固定时间的开门阶段，开门后选购商品的时间往往很短，很难建立一个稳定且快速更新的背景模型，本文分析三种运动目标检测算法原理，提出一种基于形状特征的优化三帧差法检测运动目标，利用运动目标形状特征滤除无关的分离运动，利用帧差产生的空洞消除与商品连结的手臂运动；考虑到商品区域也会同时减小，提出一种基于肤色状态的窗口优化方法，将独立的商品检测问题转化为具有肤色依赖特征的问题，获得更加准确的商品信息和商品定位，并对商品进行跟踪，同时设计了匹配函数验证商品跟踪的准确性。本文还提出一种基于轨迹平滑的行为判断方法，估计运动状态并组合以划分行为模式，避免商品重复识别与错误识别。最后基于自建商品数据集，利用InceptionV3网络对商品图像进行分类，结合行为模式给出商品识别结果。
本文通过商用视频对商品识别系统进行测试，在单次拿取视频和多次拿取视频测试中，识别准确率分别达到74.5%和70.7%，具有较好且平稳的表现，其中，对检测目标的行为判断的准确率分别为80.8%和73.2%，证明本文提出的检测和行为判断方法对智能货柜的复杂应用场景具有一定的鲁棒性。