基于多模态医学影像的疾病早筛方法研究

• 作 者: 杨舜翔
• 机 构: 山东大学
• 出 处: 山东大学
• 发表日期: 2021年期
• 关键词: 医学影像

医学影像是研究临床疾病的重要工具，它对于疾病的早筛、治疗以及后续的康复、监测和管理都起着不可替代的作用，但是传统的人工医学影像诊断方法仍存在着诸多问题，如医患两方供需不平衡、医院人员负担重;医学影像诊断主观性强、经验要求高等。随着深度学习在图像领域的快速发展，近些年来许多深度学习方法也逐渐用于医学影像的处理和分析，进而辅助医生进行自动诊断，提高工作的效率。但是考虑到医学识别任务的复杂性和医学影像小样本量的特点，当下主流研究——单模态影像研究仍存在些许不足，因为单一模态的影像往往无法全面地、准确地表达相关病理信息;而多个不同模态的影像能够从不同方面反映病变部位的相关信息，弥补数据稀缺和单一信息视角的劣势，因此，基于多模态影像数据，用深度学习的方法进行疾病早筛，对于提高医学任务识别的准确率，辅助医生进行决策诊断具有重要的意义。本文研究围绕多模态医学影像展开，主要进行了两组基于多模态医学影像的疾病分类实验。
　　第一组实验采用BraTS20203D形式的MRI脑肿瘤数据集，MRI影像分四种模态T1，T1c，T2和Flair，不同模态下脑肿瘤的表现形式也不同。本实验采用肿瘤增强方式对3D影像进行2D切片处理，提高数据的泛化能力;接着用直方图均衡化技术对切片影像进行处理，增强肿瘤区域的对比度;然后本实验采用端对端的方式，利用卷积神经网络建立多个通道的特征提取网络，分别提取不同模态影像下的病理特征信息并将提取到的特征进行拼接融合，最后将拼接特征与全连接神经网络连接，用于训练、分类。结果表明，本文采用的实验方法达到了95.82％的AUC指标，不仅远高于四个单模态影像的分类性能指标，也比目前本文所知道的最优方法高2.6％。
　　第二组实验数据来自深圳市南山医院的真实数据集，涉及四种同源模态的心脏超声影像和异源模态的电子病历五种数据。医院数据十分珍贵但也存在着明显的缺失问题。首先，本实验先对整体实验数据进行了筛选，最终选取了5个模态信息都较为完整的9060条数据;其次，本实验又对彩超影像数据中各个模态的影像数据进行了进一步的筛选、填补，同时处理彩超数据中的结构化数据，再以个人唯一标识(PID)关联电子病历，合并成新的电子病历数据;然后本实验采用训练好的多通道卷积神经网络对彩超影像中四个不同的模态影像进行特征提取和拼接，将得到的超声影像特征再通过PID与新的电子病历数据进行归并，最后采用XGBoost算法对归并特征进行分类预测。结果表明，本文采用异源模态的医学数据结合的方法达到了0.8575的AUC指标，高于同源多模态超声影像数据融合所达到的0.8339AUC指标，更是远高于五种单模态医学数据各自所达到的AUC指标。
　　医院的真实数据一般很难获取，存在着手续流程、隐私安全等诸多限制，但是用医院的真实数据进行仿真实验更能直接反映深度学习在临床应用上的表现，有着很强的理论意义和实践参考价值。本文研究反映出多模态医学影像乃至多模态医学数据存在着巨大的数据挖掘潜力，用深度学习方法挖掘不同模态的医学数据所蕴含的不同病理信息，能够更加高效率地、全面地、准确地描述病情，辅助医生进行决策诊断，这将为未来的智能医学大数据平台建设奠定坚实的基础。