文章目录
- Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation
- 摘要
- 方法
- 实验结果
Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation
摘要
背景: 在整个生命过程中,对脑部MR图像进行自动且精准的组织与结构分割,对于理解脑发育过程和疾病诊断至关重要。然而,由于早期脑发育的快速变化、衰老及疾病导致的复杂形态变异,以及手动标注数据的有限性,该任务面临诸多挑战。
目的: 针对这些问题,提出了一种基于知识引导提示学习(KGPL)的两步分割框架,以提升脑部MRI分割的准确性和鲁棒性。
方法: 该框架首先在大规模但标注质量欠佳的数据集上预训练分割模型,随后将从图像-文本对齐中学习到的知识驱动嵌入引入模型。通过知识感知提示(knowledge-wise prompts),模型能够捕捉解剖变异与生物过程之间的语义关系,从而学习适用于不同年龄群体的结构特征嵌入。
结果: 实验结果表明,该方法的优越性和鲁棒性尤为突出,特别是在采用Swin UNETR作为主干网络时表现最佳。该方法在脑组织和脑结构分割任务上的平均DSC值分别达到95.17%和94.19%。代码已公开,链接为 https://github.com/TL9792/KGPL。
方法
图 1. 将知识引导的提示学习 (KGPL) 用于整个生命周期的脑部 MRI。上半部分显示了源域上的视觉预训练,下半部分显示了预训练模型的细化,并在目标域上提供了知识提示。采用从源域学习的权重来初始化目标域的模型,在冻结编码器的同时仅更新可学习的参数和解码器。
实验结果