论文部分内容阅读
数字病理学是医学协议中具有挑战性的进展之一。病理检查在诊断过程中起着至关重要的作用，并使病理学家能够对微观结构进行分类。病理学家在显微镜下分析了大量的活检切片。对细胞核的组织学结构，形态变化和生物组织分布的分析有助于病理学家更好地识别组织病理学样本。高含量活检组织病理学分类和分级可提供重要的预后信息，这对于了解疾病（癌症）的扩散和预报至关重要。在主要的癌症中，乳腺癌是影响世界各地女性癌症死亡的主要原因之一，而且在发达国家和发展中国家逐渐增加。
然而，在乳腺组织的全切片扫描图像(Whole slide images,WSIs)中手动诊断疾病是一项艰巨而富有挑战性的任务。为了克服手动分析的缺点，各种自动诊断系统（即，简单的图像处理算法或基于深度学习的算法）相继被开发了出来。本文主要研究开发基于深度学习的自动检测框架，这个框架能够从不同类型的组织病理学图像中对乳腺癌进行检测。世界卫生组织提出了一种乳腺癌分级标准，称为诺丁汉分级系统。它结合了三种形态学预后因素，即有丝分裂计数，肾小管形成和细胞核多形性。
本文描述了有关组织病理学图像分析的理论指导，并定义了可提高组织病理学家诊断和预报能力的乳腺癌分级系统。同时，对有丝分裂细胞检测，分割和组织病理学图像推断的最先进的技术进行了全面综述。由于苏木精和伊红(Hematoxylin&Eosin,H&E）常规染色图像的易变性高，组织病理学图像分析在计算机视觉上存在着较大的困难。切片制备中的这些变化因素和组织结构中的形态变化会导致误诊的可能。因此，本文深入研究了最新的颜色归一化方法，这些方法可有助于减少组织学图像中的颜色变化。同时设计了一种鲁棒的染色归一化方法，并分析了其在不同类型的组织学数据集上的性能表现。深度学习方法尤其是卷积神经网络（CNN）已经成为计算病理学问题的主流范例。对于所有的组织学任务，深度学习的性能要优于手动检测方法。在癌症的诊断和分级中，针对不同类型的显微镜数据集设计了各种自动检测算法框架。
本文提出了四种基于CNN的有丝分裂检测算法框架：融合卷积神经网络(FF-CNN)，多尺度特征融合卷积神经网络(MFF-CNN),多尺度卷积神经网络(MS-RCNN)以及用于有丝分裂检测的多孔全卷神经网络(A-FCNN)框架。同时，设计了一个用于乳腺组织学数据集多分类的分解图像的卷积神经网络(HWDCNN)框架。FF-CNN模型结合了来自不同层次的丰富功能，可用于有丝分裂的鉴别。在该模型中，频率加权损失函数的概念解决了训练数据集中的类不平衡问题。该模型采取了上采样方法，该方法大大减少了计算量，同时确保了比较精度。此外，领域不可知的深度MFF-CNN模型通过融合多层和多尺度特征而不是最后一层的单层特征来进行有丝分裂检测。预期的模型是探索多步微调现象，并实现多尺度频率加权损失函数，来减少网络过拟合。
由于详尽的逐像素注释过程较耗时，因此在大多数乳腺组织学有丝分裂数据集中，病理学家提供仅标注质心像素的注释，例如ICPR2014和AMIDA13数据集。为解决这个问题，本文设计了一种新的基于注释A-FCN技术的原子卷积方法，该方法有助于病理学家以完全一致的方式来详尽地注释(High-power field,HPF)图像中的有丝分裂细胞。同时，A-FCN方法也是一种有效的解决方案，以弱监督的方式来训练边界框区域提议检测器。
此外，本文首次将有丝分裂检测视为目标检测以及研究较小的有丝分裂细胞的检测问题。设计的MS-RCNN检测器结合了多种策略，可提高其在小尺寸有丝分裂上的性能，从而提高检测性能。最后，本文提出一种HWDCNN的实用框架，用于乳腺组织学图像中的多类识别。在设计模型中，引入了利用小波变换的高分辨率组织病理学图像分解的概念。图像分解可大大减少深度卷积神经网络的卷积时间和计算资源，同时不会降低任何性能。基于深度CNN的模型通常需要大量的数据，然而，有限的可用标准组织学数据集限制了这些深度模型的通用性。本文通过转移学习和新颖的数据扩充方法来解决对大量组织学数据集的需求。该方法通过对原始显微镜图像中的每个苏木精和伊红颜色通道中的染色强度进行扰动，生成范围广泛的、真实的H＆E染色图像。本文设计的算法框架有望解决乳腺癌检测应用的问题。
然而，在乳腺组织的全切片扫描图像(Whole slide images,WSIs)中手动诊断疾病是一项艰巨而富有挑战性的任务。为了克服手动分析的缺点，各种自动诊断系统（即，简单的图像处理算法或基于深度学习的算法）相继被开发了出来。本文主要研究开发基于深度学习的自动检测框架，这个框架能够从不同类型的组织病理学图像中对乳腺癌进行检测。世界卫生组织提出了一种乳腺癌分级标准，称为诺丁汉分级系统。它结合了三种形态学预后因素，即有丝分裂计数，肾小管形成和细胞核多形性。
本文描述了有关组织病理学图像分析的理论指导，并定义了可提高组织病理学家诊断和预报能力的乳腺癌分级系统。同时，对有丝分裂细胞检测，分割和组织病理学图像推断的最先进的技术进行了全面综述。由于苏木精和伊红(Hematoxylin&Eosin,H&E）常规染色图像的易变性高，组织病理学图像分析在计算机视觉上存在着较大的困难。切片制备中的这些变化因素和组织结构中的形态变化会导致误诊的可能。因此，本文深入研究了最新的颜色归一化方法，这些方法可有助于减少组织学图像中的颜色变化。同时设计了一种鲁棒的染色归一化方法，并分析了其在不同类型的组织学数据集上的性能表现。深度学习方法尤其是卷积神经网络（CNN）已经成为计算病理学问题的主流范例。对于所有的组织学任务，深度学习的性能要优于手动检测方法。在癌症的诊断和分级中，针对不同类型的显微镜数据集设计了各种自动检测算法框架。
本文提出了四种基于CNN的有丝分裂检测算法框架：融合卷积神经网络(FF-CNN)，多尺度特征融合卷积神经网络(MFF-CNN),多尺度卷积神经网络(MS-RCNN)以及用于有丝分裂检测的多孔全卷神经网络(A-FCNN)框架。同时，设计了一个用于乳腺组织学数据集多分类的分解图像的卷积神经网络(HWDCNN)框架。FF-CNN模型结合了来自不同层次的丰富功能，可用于有丝分裂的鉴别。在该模型中，频率加权损失函数的概念解决了训练数据集中的类不平衡问题。该模型采取了上采样方法，该方法大大减少了计算量，同时确保了比较精度。此外，领域不可知的深度MFF-CNN模型通过融合多层和多尺度特征而不是最后一层的单层特征来进行有丝分裂检测。预期的模型是探索多步微调现象，并实现多尺度频率加权损失函数，来减少网络过拟合。
由于详尽的逐像素注释过程较耗时，因此在大多数乳腺组织学有丝分裂数据集中，病理学家提供仅标注质心像素的注释，例如ICPR2014和AMIDA13数据集。为解决这个问题，本文设计了一种新的基于注释A-FCN技术的原子卷积方法，该方法有助于病理学家以完全一致的方式来详尽地注释(High-power field,HPF)图像中的有丝分裂细胞。同时，A-FCN方法也是一种有效的解决方案，以弱监督的方式来训练边界框区域提议检测器。
此外，本文首次将有丝分裂检测视为目标检测以及研究较小的有丝分裂细胞的检测问题。设计的MS-RCNN检测器结合了多种策略，可提高其在小尺寸有丝分裂上的性能，从而提高检测性能。最后，本文提出一种HWDCNN的实用框架，用于乳腺组织学图像中的多类识别。在设计模型中，引入了利用小波变换的高分辨率组织病理学图像分解的概念。图像分解可大大减少深度卷积神经网络的卷积时间和计算资源，同时不会降低任何性能。基于深度CNN的模型通常需要大量的数据，然而，有限的可用标准组织学数据集限制了这些深度模型的通用性。本文通过转移学习和新颖的数据扩充方法来解决对大量组织学数据集的需求。该方法通过对原始显微镜图像中的每个苏木精和伊红颜色通道中的染色强度进行扰动，生成范围广泛的、真实的H＆E染色图像。本文设计的算法框架有望解决乳腺癌检测应用的问题。