论文部分内容阅读
切片-体数据配准是脑部临床应用中一项关键的技术，属于二维-三维图像配准的一种。常用于脑部肿瘤变化检测、脑部放射治疗、脑部多模图像融合等，具有重要的研究意义与临床应用价值。然而，目前的切片-体数据配准方法，在脑部临床应用中还面临诸多挑战。首先，为了给医生提供更加全面的病变组织信息，需要将不同成像模态所反映的解剖、病理等信息进行配准，并进一步融合。其次，许多脑部临床应用无标志物存在，只能依赖医学影像实现定位。另外，在手术引导以及放射治疗过程中，对配准有应用实时性要求。最后，不同于二维图像间的配准，切片-体数据配准的变换空间自由度大，空间关系更为复杂。上述挑战的存在，极大地加剧了脑部临床应用中切片-体数据多模图像实时配准的难度。
目前，传统的切片-体数据多模医学图像配准方法主要依赖于图像灰度信息或提取到的特征，通过相似性测度实现多模图像的配准。然而，传统配准方法需要遍历三维数据中每个位置、每一角度取向的切片，计算量巨大。同时，这些方法也容易陷入局部最优从而导致误匹配。近年来，有研究人员提出采用基于深度学习的策略实现切片-体数据配准，通过利用基于回归策略的神经网络实现了胎儿脑部三维核磁图像的重建。由于该方法可通过离线训练网络，实际应用时仅需一次前向计算，因此可实时重建图像。但是，此方法依赖图像灰度信息，仅能适用于单模态图像配准。同时，由于训练数据量大、网络复杂、网络训练时间长等问题，限制了该技术在实际临床中的应用。另外，脑部肿瘤变化检测以及放射治疗等问题依然有待被解决。针对上述问题，本文基于深度学习思想，致力于研究网络训练效率高、准确度高、鲁棒性好且适用于不同脑部临床应用的切片-体数据多模医学图像实时配准方法。
首先，提出了一种基于多标签分类网络的切片-体数据脑部图像实时配准方法。该方法通过引入分类的思想，将配准问题转化为多标签分类识别问题，通过建立切片与空间变换参数一一对应的神经网络来解决上述问题。此外，利用头骨外轮廓不变的特性，将多模图像配准转化为单模图像配准。与此同时，通过降低参数空间的维度，有效减少了训练数据量。与现有基于回归神经网络方法的比较实验，证明了该方法在脑部肿瘤变化检测与放射治疗应用中的可行性和优越性。
其次，为了解决配准普遍存在的多模问题，拓展基于深度学习的切片-体数据配准方法的适用性，提出了一种基于自学习和双分支网络的多模图像表征方法。该方法设计了一种双分支参数共享网络，将不同模态的脑部图像对同时输入网络，根据输出图像相似并且保持输入图像边缘特征的规则(即自学习策略)，对网络进行训练。该网络可以在无目标强约束的前提下，实现脑部多模图像的共性特征表征。相比于多模图像转化方法，单个网络只能实现两种模态间的转化，而本文提出的基于单个网络的表征方法，可实现多模态脑部图像的表征。实验表明，将其应用于基于深度学习的切片-体数据配准方法中，配准精度更高、鲁棒性更好。
最后，基于深度学习方法存在训练数据储存量大、网络结构冗余、网络训练时间过长等问题，限制了基于深度学习的切片-体数据配准方法的实际临床应用。为了进一步拓展深度学习策略在切片-体数据配准应用的适用性，提出了一种基于多通道一维卷积神经网络的切片-体数据配准快速算法。首先提出多角度投影方法，将二维图像变为多通道一维数据，有效降低了训练数据量。在此基础上，作者设计了多通道一维卷积神经网络模型，降低了网络复杂度，并大幅减少了网络参数，实现了神经网络的压缩。实验表明，该方法在保证配准精度的前提下，可在不同性能计算设备上大幅提升网络的训练效率。
综上所述，本文围绕基于深度学习的脑部切片-体数据多模图像实时配准方法为主题，以递进的方式对切片-体数据配准问题所涉及的关键问题开展系统研究，实现了在多模条件下的无初值、无标志物的高精度实时配准。通过图像降维与网络压缩，大幅提高了深度学习算法网络训练的效率。本文的研究工作将为脑部病灶诊断与治疗的临床应用奠定基础。
目前，传统的切片-体数据多模医学图像配准方法主要依赖于图像灰度信息或提取到的特征，通过相似性测度实现多模图像的配准。然而，传统配准方法需要遍历三维数据中每个位置、每一角度取向的切片，计算量巨大。同时，这些方法也容易陷入局部最优从而导致误匹配。近年来，有研究人员提出采用基于深度学习的策略实现切片-体数据配准，通过利用基于回归策略的神经网络实现了胎儿脑部三维核磁图像的重建。由于该方法可通过离线训练网络，实际应用时仅需一次前向计算，因此可实时重建图像。但是，此方法依赖图像灰度信息，仅能适用于单模态图像配准。同时，由于训练数据量大、网络复杂、网络训练时间长等问题，限制了该技术在实际临床中的应用。另外，脑部肿瘤变化检测以及放射治疗等问题依然有待被解决。针对上述问题，本文基于深度学习思想，致力于研究网络训练效率高、准确度高、鲁棒性好且适用于不同脑部临床应用的切片-体数据多模医学图像实时配准方法。
首先，提出了一种基于多标签分类网络的切片-体数据脑部图像实时配准方法。该方法通过引入分类的思想，将配准问题转化为多标签分类识别问题，通过建立切片与空间变换参数一一对应的神经网络来解决上述问题。此外，利用头骨外轮廓不变的特性，将多模图像配准转化为单模图像配准。与此同时，通过降低参数空间的维度，有效减少了训练数据量。与现有基于回归神经网络方法的比较实验，证明了该方法在脑部肿瘤变化检测与放射治疗应用中的可行性和优越性。
其次，为了解决配准普遍存在的多模问题，拓展基于深度学习的切片-体数据配准方法的适用性，提出了一种基于自学习和双分支网络的多模图像表征方法。该方法设计了一种双分支参数共享网络，将不同模态的脑部图像对同时输入网络，根据输出图像相似并且保持输入图像边缘特征的规则(即自学习策略)，对网络进行训练。该网络可以在无目标强约束的前提下，实现脑部多模图像的共性特征表征。相比于多模图像转化方法，单个网络只能实现两种模态间的转化，而本文提出的基于单个网络的表征方法，可实现多模态脑部图像的表征。实验表明，将其应用于基于深度学习的切片-体数据配准方法中，配准精度更高、鲁棒性更好。
最后，基于深度学习方法存在训练数据储存量大、网络结构冗余、网络训练时间过长等问题，限制了基于深度学习的切片-体数据配准方法的实际临床应用。为了进一步拓展深度学习策略在切片-体数据配准应用的适用性，提出了一种基于多通道一维卷积神经网络的切片-体数据配准快速算法。首先提出多角度投影方法，将二维图像变为多通道一维数据，有效降低了训练数据量。在此基础上，作者设计了多通道一维卷积神经网络模型，降低了网络复杂度，并大幅减少了网络参数，实现了神经网络的压缩。实验表明，该方法在保证配准精度的前提下，可在不同性能计算设备上大幅提升网络的训练效率。
综上所述，本文围绕基于深度学习的脑部切片-体数据多模图像实时配准方法为主题，以递进的方式对切片-体数据配准问题所涉及的关键问题开展系统研究，实现了在多模条件下的无初值、无标志物的高精度实时配准。通过图像降维与网络压缩，大幅提高了深度学习算法网络训练的效率。本文的研究工作将为脑部病灶诊断与治疗的临床应用奠定基础。