基于整体和个体分割融合的双人交互行为识别

• 作 者: 魏鹏 曹江涛 姬晓飞
• 机 构: 辽宁石油化工大学,沈阳航空航天大学
• 出 处: 辽宁石油化工大学学报
• 发表日期: 2019年06期
• 关键词: 交互行为 局部特征 视觉共生矩阵 深度特征 YOLO 决策级融合 Interaction behaviorLocal featuresCo occurrence
• 基金项目: 辽宁省自然科学基金项目(201602557),辽宁省科技公益研究基金项目(2016002006),辽宁省教育厅科学研究服务地方项目(L201708),辽宁省教育厅科学研究青年项目(L201745)

在人类交互行为识别领域,基于RGB视频的局部特征往往不能有效区分近似动作,将深度图像(Depth)与彩色图像(RGB)在识别过程中进行融合,提出一种融合Depth信息的整体和个体分割融合的双人交互行为识别算法。该算法首先分别对RGB和Depth视频进行兴趣点提取,在RGB视频上采用3DSIFT进行特征描述,在Depth视频上利用YOLO网络对左右两人兴趣点进行划分,并使用视觉共生矩阵对局部关联信息进行描述。最后使用最近邻分类器分别对RGB特征和Depth特征进行分类识别,进一步通过决策级融合两者识别