MONAI 1.4新版本发布，抢先体验MAISI扩散模型以及VISTA交互式分割模型
上周，MONAI发布了备受期待的1.4版本，这是时隔一年的重大更新。新版本带来了一系列令人兴奋的新功能和改进，让我们一起来看看：
-
MAISI：这是一个最先进的3D潜在扩散模型（3D Latent Diffusion Model），专为生成高质量的合成CT图像而设计，无论是否带有解剖标注。MAISI在数据增强和创建逼真的医学成像数据方面表现出色，有助于补充因隐私问题或罕见状况而受限的数据集。此外，它还能通过生成多样化和逼真的训练数据，显著提高其他医学成像AI模型的性能。
-
VISTA-3D：这是一个交互式基础模型，用于人体解剖结构的分割和标注。它支持三个核心工作流程：全身探索、基于类别的详细截面视图提供，以及通过用户指导的点击选择增强分割精度。这些功能对于理解复杂疾病、针对性疾病分析或器官映射至关重要。
-
VISTA-2D：这是一个全面的细胞分割训练和推理流程，适用于成像应用中的细胞分割。它利用基于变换器的深度学习算法，支持多种数据集和文件格式，能够处理多种成像方式，并支持多GPU和多节点训练。
-
MONAI Generative集成：原本在MONAI GenerativeModels存储库中开发的一些关键模块已经被集成到MONAI的核心代码库中。这种集成确保了对生成AI的基本组件进行一致的维护和简化的发布。
-
Lazy TensorRT导出：通过
trt_compileAPI，这个版本为MONAI捆绑包扩展了TensorRT优化选项。新的trt_compile在捆绑包首次运行时构建并保存TensorRT引擎，并提供有限的依赖支持。它还允许部分TensorRT导出，其中只有特定的子模块被优化，从而提高了可用性。 -
几何数据支持：MONAI引入了对几何数据转换的支持作为一个关键特性。作为起点，添加了ApplyTransformToPoints转换，以促进点上的矩阵操作，实现灵活高效的几何转换处理。此外，框架现在还支持框和点之间的转换，提供了检测流程中的无缝互操作性。
接下来，Tina姐带大家一起来探索这些新功能
MAISI：最先进的 3D 潜在扩散模型
MAISI：Medical AI for Synthetic Imaging， 是一种 3D 潜在扩散模型 (LDM)，能够生成大型 CT 图像并附带相应的分割蒙版。它支持可变体积大小和体素间距，并允许精确控制器官/肿瘤大小。其亮点包括：
- 用于潜在特征压缩的基础变分自动编码器 (VAE) 模型，适用于 CT 和 MRI，具有灵活的体积大小和体素大小
- 基础扩散模型可以生成最大 512 × 512 × 768 大小的大型 CT 体积，具有灵活的体积大小和体素大小
- ControlNet 可生成可改善下游任务的图像/掩模对，且具有可控的器官/肿瘤大小
示例结果
对此感兴趣想要尝试和训练的同学可以参考以下教程：MAISI tutorial
VISTA-3D：MONAI多功能成像分割和注释
VISTA3D是一个基础模型，在 11,454 个体上进行了系统训练，涵盖了 127 种人体解剖结构和各种病变。它提供了精确的开箱即用分割，可与在每个数据集上训练的最先进的监督模型相媲美。该模型还实现了最先进的 3D 零样本交互式分割，代表着朝着开发多功能医学图像基础模型迈出了有希望的一步。
它支持三个核心工作流程：
- 分割一切：实现全身探索，这对于了解影响多个器官的复杂疾病和整体治疗计划至关重要。
- 使用类别进行分割：根据特定类别提供详细的截面视图，这对于针对性的疾病分析或器官映射至关重要，例如在关键器官中的肿瘤识别。。
- 分割点提示：通过用户指导的点击选择增强分割精度。这种交互式方法加速了准确地面真实数据的创建，这在医学影像分析中是必不可少的。
想要快速体验可以点击下面链接：VISTA 3D 体验链接
以下是我体验的一个视频demo，欢迎观看点赞!
【添加视频】
此外，该模型也支持finetune，请参考vista 3d 官方教程
VISTA-2D：细胞分割
VISTA-2D 是用于成像应用中细胞分割的综合训练和推理流程。有关更多信息，请参阅此vista 2d 博客
VISTA-2D 在底层使用变压器网络架构，并结合 Meta 的Segment Anything Model (SAM)预训练权重，以进一步提高基于性能的结果。VISTA-2D 与广泛的预处理和后处理管道相结合，可对任何给定类型的数据进行有效训练。这提供了高分辨率、基于实例的分割，可进一步与细胞形态和基因扰动任务配对。VISTA-2D 的网络架构具有约 1 亿个训练超参数，使其具有适应性和可扩展性，可实现快速细胞分割。
模型亮点
- 基于 transformer 的鲁棒深度学习算法
- 通才模型与专才模型的比较
- 支持多种数据集来源和文件格式
- 多种成像数据模式共同支持
- 多 GPU 和多节点训练支持
文章持续更新，可以关注微公【医学图像人工智能实战营】获取最新动态。人手有限，文中涉及的链接前往微公对应文章查看。关注Tina姐，一起学习进步~
我是Tina, 我们下篇博客见~
白天工作晚上写文，呕心沥血
觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连