论文部分内容阅读
行人再识别技术旨在判断在不同摄像头下出现的行人是否具有相同身份，被广泛应用于视频监控、智能安保、刑事侦查等领域。其中，跨域行人再识别通常会利用一个有标签的源数据集和一个无标签的目标数据集来完成模型的训练，旨在提升行人再识别模型的泛化能力和实际应用价值。
研究跨域行人再识别面临诸多挑战：光照、遮挡导致行人特征缺失；相似衣服会导致行人间的区分度下降；不同的摄像头和拍摄领域会导致行人图像间存在明显的风格差异。目前，提升模型的跨域能力是跨域行人再识别需要解决的首要问题。
为解决跨域场景下的行人再识别问题，本文从三个角度出发，基于深度学习设计了有效的跨域行人再识别模型框架，提出了有效的目标函数和网络结构，最终提升了行人再识别模型的分类能力和跨域能力。本文的主要贡献如下：
1、为了充分利用源数据集和目标数据集中的行人信息，本文提出了基于双生成学习的跨域行人再识别方法。该方法首先将源数据集中的图像转换为目标数据集风格从而得到扩展的源数据集，并为目标数据集中的图像生成所有相机风格图像从而得到扩展的目标数据集。之后，源数据集、目标数据集以及它们的扩展数据集被用于优化三分支的双生成学习框架。其中，第一个分支基于混合三元组损失来训练模型的域不变性和相机不变性。后两个分支分别利用标签平滑损失和交叉熵损失来训练模型的分类能力。
2、为了学习行人间的关联信息，本文提出了基于异构卷积网络的跨域行人再识别方法。该方法首先利用卷积神经网络来提取行人的外观特征，并进一步利用图卷积网络学习行人间的关联信息。其中，图卷积网络采用本文提出的双图卷积操作来显式地学习相似样本间的连接信息和不相似样本间的连接信息。经图卷积网络学习行人间的关联信息而输出的特征则为样本的图卷积特征。最终，为了学习更完备的行人信息，本文设计了四分支的异构卷积网络框架，其中，每个分支分别学习行人的整体、上部和下部的图卷积特征和整体的外观特征并以三元组损失为目标函数。
3、为了加强模型间的知识传递和信息共享，本文提出了基于多模型蒸馏学习的跨域行人再识别方法。该方法在实现教师模型和学生模型在线优化的同时，能够实现由教师模型到学生模型的蒸馏学习和学生模型之间的互学习。其中，对偶相似度蒸馏损失的提出使得特征相似度知识和成对相似度知识有效地从教师模型传递给学生模型。在优化过程中，学生模型不仅接收来自教师模型的知识，也接受另一个学生模型的监督，从而获得性能提升。
整体来说，本文依次从行人图像的风格转换、行人特征间的关联性学习以及多个模型间的蒸馏学习这三个角度出发，针对跨域行人再识别问题提出了有效的解决方案。同时，各方案所确定的模型在不同跨域场景下均取得了很好的实验结果，对未来的研究工作有一定的借鉴意义。
研究跨域行人再识别面临诸多挑战：光照、遮挡导致行人特征缺失；相似衣服会导致行人间的区分度下降；不同的摄像头和拍摄领域会导致行人图像间存在明显的风格差异。目前，提升模型的跨域能力是跨域行人再识别需要解决的首要问题。
为解决跨域场景下的行人再识别问题，本文从三个角度出发，基于深度学习设计了有效的跨域行人再识别模型框架，提出了有效的目标函数和网络结构，最终提升了行人再识别模型的分类能力和跨域能力。本文的主要贡献如下：
1、为了充分利用源数据集和目标数据集中的行人信息，本文提出了基于双生成学习的跨域行人再识别方法。该方法首先将源数据集中的图像转换为目标数据集风格从而得到扩展的源数据集，并为目标数据集中的图像生成所有相机风格图像从而得到扩展的目标数据集。之后，源数据集、目标数据集以及它们的扩展数据集被用于优化三分支的双生成学习框架。其中，第一个分支基于混合三元组损失来训练模型的域不变性和相机不变性。后两个分支分别利用标签平滑损失和交叉熵损失来训练模型的分类能力。
2、为了学习行人间的关联信息，本文提出了基于异构卷积网络的跨域行人再识别方法。该方法首先利用卷积神经网络来提取行人的外观特征，并进一步利用图卷积网络学习行人间的关联信息。其中，图卷积网络采用本文提出的双图卷积操作来显式地学习相似样本间的连接信息和不相似样本间的连接信息。经图卷积网络学习行人间的关联信息而输出的特征则为样本的图卷积特征。最终，为了学习更完备的行人信息，本文设计了四分支的异构卷积网络框架，其中，每个分支分别学习行人的整体、上部和下部的图卷积特征和整体的外观特征并以三元组损失为目标函数。
3、为了加强模型间的知识传递和信息共享，本文提出了基于多模型蒸馏学习的跨域行人再识别方法。该方法在实现教师模型和学生模型在线优化的同时，能够实现由教师模型到学生模型的蒸馏学习和学生模型之间的互学习。其中，对偶相似度蒸馏损失的提出使得特征相似度知识和成对相似度知识有效地从教师模型传递给学生模型。在优化过程中，学生模型不仅接收来自教师模型的知识，也接受另一个学生模型的监督，从而获得性能提升。
整体来说，本文依次从行人图像的风格转换、行人特征间的关联性学习以及多个模型间的蒸馏学习这三个角度出发，针对跨域行人再识别问题提出了有效的解决方案。同时，各方案所确定的模型在不同跨域场景下均取得了很好的实验结果，对未来的研究工作有一定的借鉴意义。