论文部分内容阅读
行为识别的目的在于确定序列行为数据中任意时刻的行为模式，在智能感知、医疗健康、生物神经解码和人机交互等领域具有广泛应用价值。随着传感器及物联网等技术的发展、普及，行为数据体量越来越大、类别逐渐丰富、分布特性日益复杂，在有限成本内获得的人工标注数据相对于数据整体而言则越来越稀少、单一，因而基于经典监督学习的行为识别模型越来越容易过拟合。同时，随着传感技术的快速迭代更新和行为个体及应用需求的不断改变，行为识别的应用场景已从传统的平稳环境，即训练数据和测试数据独立同分布，转变为动态非平稳环境，即测试数据的分布与训练数据不同甚至可能未知。这种数据分布的不一致，也叫域漂移，普遍造成学习模型的性能严重受损。如何基于稀少的标注数据学习性能良好且具有跨域泛化能力的鲁棒学习模型是人工智能领域的一大研究热点。
本文围绕这个难点，从无监督学习角度切入，进行两个方向的方法探索，即：1)研究无监督表征学习方法，充分挖掘近乎无限且免费的无标注数据，降低对标注数据的依赖；和2)研究无监督领域自适应方法，提高行为识别模型的跨域泛化能力。同时，针对动物行为分析中普遍存在的标注数据获取困难的问题，基于本文提出的无监督学习算法，构建具有跨成像条件自适应能力的无监督行为分析算法框架。
具体来说，本文的研究内容和主要贡献可以总结为如下几点：
1.针对行为识别模型对标注训练数据的严重依赖问题，基于人体骨架关键点序列，提出一种以行为序列条件修复为引导的无监督表征学习方法，通过设计行为序列腐蚀策略学习人体各部位的精细结构依赖性，采用序列修复误差优化表征学习模型，实现对输入序列中骨架关键点的长时程时序依赖性的建模。在多个公开的人体骨架行为识别数据集的实验表明，该方法获得的行为表征能够显著减小序列修复误差，并对不同行为模式具有较强的判别力，从而降低对标注训练数据的依赖。
2.针对行为表征的跨域泛化问题，提出一种基于局部模式迁移的无监督领域自适应算法，学习比全局表征更原始、更具迁移性的局部模式桥接源域和目标域，独立地匹配每个局部模式的局部表征分布并结合层次化表征对齐，在保持表征的类别判别力的条件下，提高行为表征的跨域泛化能力。在多个骨架行为序列和RGB视频行为数据集及典型的图像分类任务上的实验表明，该方法获得的域不变表征不仅在目标域取得了对前沿领域自适应算法的性能优势，还能有效泛化至未知的新数据域。
3.针对由行为表征和分类器构成的整个行为识别模型的跨域泛化问题，提出一种基于贝叶斯不确定性匹配的无监督领域自适应算法，采用贝叶斯神经网络作为分类器以建模预测不确定性，利用源域和目标域样本的预测不确定性差异近似度量分类器的域漂移，通过匹配表征和分类器预测不确定性的联合分布，增强整个行为识别模型的跨域泛化能力。基于多个骨架行为序列和RGB视频行为数据集，在经典的一对一领域自适应、部分域适配和域不可知学习三个迁移任务上进行评测，该方法取得了对典型无监督领域自适应算法的一致性能优势。
4.针对动物行为分析中普遍存在的标注数据稀少或无法获取的问题，以经典模式动物果蝇幼虫的蠕动行为为例，构建具有跨成像条件自适应能力的无监督行为分析算法框架。采用关键点检测算法获取果蝇体节的精细姿态、运动描述，设计基于蠕动行为预测的无监督表征学习方法并通过引入先验分布和时序平滑性约束强化其对不同行为模式的判别力，最后根据模型预测误差的大小变化，采用阈值法实现对行为序列的自动分割，并获得具有生物可解释性的行为模式。该算法框架对果蝇的运动神经环路解码研究具有重要实用价值。
本文围绕这个难点，从无监督学习角度切入，进行两个方向的方法探索，即：1)研究无监督表征学习方法，充分挖掘近乎无限且免费的无标注数据，降低对标注数据的依赖；和2)研究无监督领域自适应方法，提高行为识别模型的跨域泛化能力。同时，针对动物行为分析中普遍存在的标注数据获取困难的问题，基于本文提出的无监督学习算法，构建具有跨成像条件自适应能力的无监督行为分析算法框架。
具体来说，本文的研究内容和主要贡献可以总结为如下几点：
1.针对行为识别模型对标注训练数据的严重依赖问题，基于人体骨架关键点序列，提出一种以行为序列条件修复为引导的无监督表征学习方法，通过设计行为序列腐蚀策略学习人体各部位的精细结构依赖性，采用序列修复误差优化表征学习模型，实现对输入序列中骨架关键点的长时程时序依赖性的建模。在多个公开的人体骨架行为识别数据集的实验表明，该方法获得的行为表征能够显著减小序列修复误差，并对不同行为模式具有较强的判别力，从而降低对标注训练数据的依赖。
2.针对行为表征的跨域泛化问题，提出一种基于局部模式迁移的无监督领域自适应算法，学习比全局表征更原始、更具迁移性的局部模式桥接源域和目标域，独立地匹配每个局部模式的局部表征分布并结合层次化表征对齐，在保持表征的类别判别力的条件下，提高行为表征的跨域泛化能力。在多个骨架行为序列和RGB视频行为数据集及典型的图像分类任务上的实验表明，该方法获得的域不变表征不仅在目标域取得了对前沿领域自适应算法的性能优势，还能有效泛化至未知的新数据域。
3.针对由行为表征和分类器构成的整个行为识别模型的跨域泛化问题，提出一种基于贝叶斯不确定性匹配的无监督领域自适应算法，采用贝叶斯神经网络作为分类器以建模预测不确定性，利用源域和目标域样本的预测不确定性差异近似度量分类器的域漂移，通过匹配表征和分类器预测不确定性的联合分布，增强整个行为识别模型的跨域泛化能力。基于多个骨架行为序列和RGB视频行为数据集，在经典的一对一领域自适应、部分域适配和域不可知学习三个迁移任务上进行评测，该方法取得了对典型无监督领域自适应算法的一致性能优势。
4.针对动物行为分析中普遍存在的标注数据稀少或无法获取的问题，以经典模式动物果蝇幼虫的蠕动行为为例，构建具有跨成像条件自适应能力的无监督行为分析算法框架。采用关键点检测算法获取果蝇体节的精细姿态、运动描述，设计基于蠕动行为预测的无监督表征学习方法并通过引入先验分布和时序平滑性约束强化其对不同行为模式的判别力，最后根据模型预测误差的大小变化，采用阈值法实现对行为序列的自动分割，并获得具有生物可解释性的行为模式。该算法框架对果蝇的运动神经环路解码研究具有重要实用价值。