注意力机制引导的多模态心脏图像分割

• 作 者: 杨琬琪 周子奇 郭心娜
• 机 构: 南京师范大学计算机科学与技术学院
• 出 处: 南京师大学报(自然科学版)
• 发表日期: 2019年03期
• 关键词: 注意力机制 多模态心脏图像分割 半孪生网络 跨模态图像生成 attentionmultimodal cardiac segmentationsemi-siame
• 基金项目: 国家自然科学基金(61603193,61876087).

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个