基于区域分解的卷积神经网络的算法研究

• 作 者: 张卫
• 出 处: 中国科学院大学(中国科学院深圳先进技术研究院)
• 发表日期: 2020年01期
• 关键词: DCNN的分解和组合 并行训练 迁移学习 域分解

卷积神经网络（CNN）的快速发展,使得计算机视觉领域取得重大的突破,并在图像识别、图像分割及目标检测等方向取得了令人瞩目的成绩。卷积神经网络具有丰富的表示功能,能够处理计算机视觉领域中很多的复杂问题。如自动驾驶、目标检测和医学图像成像等问题。随着数据规模的扩大,导致处理问题的卷积神经网络层数加深。深度卷积神经网络训练大规模数据集需要耗费很多的时间和占用大量的GPU计算资源。在实际中,往往没有足够的计算资源去处理大数据集,如何在小机器上处理大数据问题是在实际中是十分重要的。本文以卷积神经网络为研究对象,提出了一种区域分解和组合的迁移学习算法来解决这个问题。本文主要是围绕卷积网络的分解和组合两个方面进行深入研究。该算法是是受到域分解思想的启发,提出了一种分解和组合的迁移学习算法。首先,对卷积网络的如何分解和组合过程进行了详细的介绍。其次是研究如何划分卷积网络,即卷积网络划分成多少个子网络。最后通过实验验证了分解和组合迁移学习算法的有效性。实验验证部分采用计算机视觉中图像分类和图像分割两个常见的任务进行验证,这体现了该算法的广泛适用性。对于图像分类任务,本文采用CIFAR₁0/CIFAR₁00和Food-101等公开数据集。而图像分割数据是各个合作医院提供的心血管CT原始图像。实验结果表明,基于区域分解的卷积网络算法的优点有三个方面:1)采用迁移学习的策略,能够加快网络的收敛速度,提高图像分类的精度;2)该算法能够在短时间内处理大规模数据,而占用的计算资源很少;3)该算法还广泛适用于各种卷积网络模型和计算机视觉任务。本文的主要创新点为:（1）将深度卷积神经网络拆分成多个子网络,并将子网络训练好的权重组合作为DCNN的初始化权重,这样能为DCNN提供一个较好的初始训练点,从而加快DCNN的训练;（2）每个子网络能够独立并行的训练相应的子样本数据,DCNN通过子网络初始化更加注重对局部特征的学习,提高了DCNN的分类结果。