论文部分内容阅读
随着计算机视觉领域向人工智能的方向发展,人们需要更灵活的策略来应对现实世界中物体分类的大规模性和动态性。至少,当新类别的训练数据被引入时,分类网络应该能够增量式地学习新类别的特征,而不是重新学习所有数据。增量式学习的模式可以为人工神经网络的训练节省下许多训练时间,并且保证了模型的精度。增量学习满足了这一现状,通过对大数据分阶段的训练学习,在节省大量训练时间成本的同时,又满足了分类器对精度的高要求。然而,增量学习存在灾难性遗忘问题,并且目前学术界的增量学习算法普遍具有过分依赖系统内存,网络架构巨大等问题的限制。在此背景下,本文开始研究基于深度学习模型的动态修正向量的增量学习算法。论文的主要内容如下:(1)基于深度神经网络的增量模型研究。模型的主干网络采用公认有效的深度神经网络Alex Net和Res Net,确保对于各个数据集有强大的识别能力。基于深度神经网络的增量技术主要包括以下几步:首先,本文提出储存旧类别数据的内存作为代表性记忆,在后续增量阶段中和新类别数据联合训练的方法,保证新旧类别的识别能力。其次,系统的内存和计算资源保持有界。为了指定系统的内存上界,提出了一个超参数K,称为分类器的内存预算。最后,在增量过程中,本文使用新数据和代表性记忆中的范例来计算分类和蒸馏损失函数。(2)基于动态修正向量的增量学习算法研究。代表性记忆和知识蒸馏这两个技巧会产生新的问题,称之为偏置问题和过拟合问题。对于现有的类别,知识蒸馏会使教师模型中存在明显的噪声,会对学生模型产生误导。而由代表性记忆产生的不平衡的训练集可能导致模型的不准确的特征表示。本文提出的修正向量表示训练中概率标签和真实标签的统计量。分类结果通常偏向于参与训练的数据较多的类别。因此,修正向量直观地反映了模型偏向于每个类的程度。因为每个增量阶段中数据是动态变化的,本文提出动态的修正向量以适用于增量学习领域。(3)针对提出的增量模型进行评估与分析。深度神经网络Alex Net和Res Net在图像和信号数据集上进行多阶段的增量训练,评估本文提出的增量算法与当前学界中最优秀的三个增量算法进行对比实验,从最终精度,平均精度,混淆矩阵和增量训练耗时等多个方面进行评估算法性能。从而证明本文提出的增量模型在各个数据集上都有泛化性,并且保持着最高的精度和最短的训练耗时。(4)基于固定特征的信号增量学习应用。由于信号数据通常是不可视的,通常需要专业人员才能将其区分,从而产生了大量的人工成本。所以在信号大数据的背景下,对信号大数据进行增量式识别是非常必要的。而通过固定特征的方法,建立了信号数据的特征库,节约了专业人员的时间成本,提高了工作效率,直接利用数据的特征进行对比数据。