小罗碎碎念
本期推文主题：多模态病理AI
一、人工智能在肝细胞癌治疗中的应用：预测阿特珠单抗-贝伐珠单抗联合治疗反应的生物标志物研究
一作&通讯
| 作者角色 | 作者姓名 | 单位名称（中文） | 单位名称（英文） |
|---|---|---|---|
| 第一作者 | Qinghe Zeng | 法国巴黎索邦大学、法国国家健康与医学研究院、法国巴黎大学 | Sorbonne Université, INSERM, Université Paris Cité, Paris, France |
| 通讯作者 | Julien Calderaro | 法国巴黎亨利蒙多-阿尔贝什维埃大学医院、法国国家健康与医学研究院、法国巴黎大学附属医院 | AP-HP, Henri Mondor-Albert Chenevier University Hospital, INSERM, Sorbonne Université, Paris, France |
文献概述
这篇文章通过开发一种基于人工智能的病理学方法，预测肝细胞癌（hepatocellular carcinoma, HCC）患者对阿特珠单抗和贝伐珠单抗联合治疗的反应，并验证了其与无进展生存期的关联。
肝细胞癌是一种起源于肝脏细胞的恶性肿瘤，是全球癌症死亡的主要原因之一。在治疗晚期肝细胞癌时，阿特珠单抗（atezolizumab）和贝伐珠单抗（bevacizumab）的联合疗法已成为一种标准治疗手段。
阿特珠单抗是一种免疫检查点抑制剂，能够激活人体的免疫系统以攻击癌细胞；而贝伐珠单抗则是一种抗血管生成药物，能够阻断肿瘤的血液供应，从而限制其生长和扩散。然而，这种联合疗法仅对部分患者有效，因此，研究者们一直在寻找能够预测患者对这种联合疗法反应的生物标志物。
在这项研究中，研究者们提出了一个创新的概念：开发一种AI模型，能够直接从病理组织学切片中估计阿特珠单抗-贝伐珠单抗反应签名（ABRS）的表达水平。
ABRS是一种特定的基因表达模式，已被发现与患者对阿特珠单抗和贝伐珠单抗联合治疗的反应有关。通过AI模型对ABRS的表达进行估计，研究者们希望能够预测哪些患者更有可能从这种联合治疗中获益。
为了实现这一目标，研究团队进行了一项多中心、回顾性的研究，并开发了一个名为ABRS-prediction（ABRS-P）的AI模型。
他们使用了来自癌症基因组图谱（The Cancer Genome Atlas, TCGA）的大量多中心数据集，这些数据集包含了肝细胞癌患者的病理组织学信息和基因表达数据。通过这些数据，研究者们训练了AI模型，使其能够识别和预测ABRS的表达水平。
在模型开发完成后，研究者们在两个独立的肝细胞癌患者样本系列上进行了外部验证，这两个系列包括了手术切除的肿瘤样本和活检样本。这种验证是必要的，因为它可以帮助确认模型在不同患者群体中的准确性和可靠性。
此外，研究者们还在一个多中心队列中，对122名接受阿特珠单抗-贝伐珠单抗治疗的患者的活检样本进行了测试，以进一步评估模型的预测价值。
在840名抽样患者中，研究者们发现ABRS-P值与ABRS评分之间存在显著的相关性，这表明AI模型能够准确预测ABRS的表达水平。
更重要的是，他们发现ABRS-P高表达的肿瘤患者在治疗后的无进展生存期（PFS）显著长于ABRS-P低表达的患者。无进展生存期是衡量癌症治疗效果的一个重要指标，它指的是从治疗开始到肿瘤进展或患者死亡之间的时间。这些发现表明，AI模型可能有助于识别那些更有可能从阿特珠单抗-贝伐珠单抗联合治疗中获益的患者。
此外，研究者们还利用空间转录组学技术，对肿瘤样本中的基因表达进行了详细的分析。空间转录组学是一种先进的技术，可以在细胞或组织的特定位置上测量基因的表达水平。
通过这种方法，研究者们发现，在ABRS-P预测值高的肿瘤区域，ABRS基因的表达水平也显著更高，这进一步验证了AI模型的预测准确性。
尽管这项研究在设计和实施方面都表现出色，但文章也坦诚地讨论了其局限性。
作为一项回顾性研究，其结果需要通过前瞻性研究来进一步验证。此外，研究者们也指出了数据完整性的重要性，以及在更广泛的患者群体中验证模型预测价值的必要性。
最后，文章还提到了将AI模型与空间转录组学结合的潜力，这种结合可能会为理解肿瘤的生物学特性和治疗反应提供新的视角。
随着AI技术的不断进步，这种方法有望在其他癌症或疾病中得到应用，从而为患者提供更加个性化和精准的治疗方案。
代码&数据
-
代码链接:
- 链接地址: https://github.com/qinghezeng/ABRS-P
- 作用: 这个GitHub链接提供了用于基因表达分析、深度学习和空间转录组学处理的代码。这些代码是实现和复现研究中AI模型的关键，允许其他研究者访问和使用这些工具来预测肝细胞癌患者对阿特珠单抗-贝伐珠单抗治疗的反应。
-
数据集链接:
- 链接地址: European Nucleotide Archive (accession number PRJEB62485)
- 作用: 该链接指向European Nucleotide Archive，其中包含了用于本研究的空间转录组学数据。这些数据是原始研究材料的一部分，允许其他研究者验证研究结果，或在独立的分析中使用这些数据进行进一步的研究。
二、自监督学习在人类组织形态多样性和空间RNA表达预测中的应用
一作&通讯
| 作者角色 | 作者姓名 | 单位名称 | 单位英文名称 |
|---|---|---|---|
| 第一作者 | Francesco Cisternino | 人类技术中心 | Human Technopole |
| 通讯作者 | Craig A. Glastonbury | 人类技术中心 | Human Technopole |
文献概述
这篇文章介绍了一种自监督学习方法，用于分析和预测23种人类组织类型的形态多样性和空间RNA表达，展示了其在自动组织分割、病理检测和基因表达预测方面的应用。
自监督学习是一种机器学习范式，它允许算法在没有显式标签或注释的情况下从数据中学习模式，这在医学图像分析中尤其有用，因为手动标注大规模数据集既耗时又昂贵。
研究团队采用了视觉变换器（Vision Transformer，简称ViT），这是一种基于深度学习的技术，它通过将图像分割成小块（类似于人类视觉系统处理图像的方式）并分析这些块之间的关系来识别图像特征。在这项研究中，ViT被训练来识别和区分来自GTEx（Genotype Tissue Expression）项目的838名捐赠者的1.7百万个组织学图像中的模式。GTEx项目是一个大规模的科学研究项目，旨在通过分析基因型和基因表达在多种人类组织中的分布，来揭示基因如何影响疾病风险和特征。
通过这种训练，ViT能够自动将组织学图像分割成不同的亚结构，例如在动脉组织中区分内膜、中膜和外膜层，以及识别和量化病理特征，如动脉钙化或动脉粥样硬化。这种自动分割和病理比例预测的能力，不仅提高了病理诊断的效率，而且其准确性也超过了现有的其他自监督学习方法。
此外，研究者们开发了一个名为RNAPath的创新模型，它能够利用从H&E染色的组织学图像中学习到的特征，直接预测和定位特定RNA分子在组织切片中的表达水平。
H&E染色是一种常用的组织学技术，通过不同的染色机制突出细胞和组织的形态特征。RNAPath模型在预测RNA表达的空间分布方面表现出色，与通过免疫组织化学（IHC）获得的地面真实数据高度一致，IHC是一种用于检测和定位组织中特定蛋白质的实验室技术。
补充一句，谈到基因与病理的结合，下面这篇文章也很有意思，之前分析过。
https://lxltx.blog.csdn.net/article/details/141088387
文章还深入讨论了组织学图像数字化的潜力，这一过程涉及将传统的显微镜载玻片转换为可以在计算机上分析的数字图像。数字化不仅使得图像分析更加高效，而且为应用计算机视觉和机器学习技术提供了新的可能性。通过自监督学习，研究人员能够更深入地理解组织的病理学特征、空间组织结构，以及形态变异与基因表达之间的复杂相互作用。
研究还揭示了人类组织中亚结构和病理特征的自然变异，以及这些变异如何与个体的遗传背景和组织形态相关的基因表达变化相联系。这些发现对于理解复杂疾病的发病机制和开发新的治疗策略具有重要意义。
尽管取得了显著进展，但文章也诚实地讨论了这种方法的局限性，包括空间分辨率的限制、对特定疾病队列的模型训练需求，以及利用更大规模的数据集和更先进的自监督学习算法来提高组织亚结构分割和基因表达预测的准确性的必要性。
随着组织学档案和病理工作流程的数字化，研究人员相信，自监督学习技术在揭示健康和疾病状态下组织结构和功能的新生物学知识方面具有巨大的潜力，这将为未来的医学研究和临床实践带来革命性的变化。
代码&数据
-
代码链接:
- GitHub 链接: https://github.com/GlastonburyC/RNAPath，DOI: 10.5281/zenodo.11519629。
- 作用：这个GitHub仓库包含了RNAPath模型的代码，该模型是文章中提到的关键技术之一，用于预测和定位组织切片中单个RNA的表达水平。代码的公开使得其他研究人员可以复现研究结果，进一步验证模型的有效性，或者将其应用于其他相关的研究中。
-
数据集:
- GTEx V8 数据：通过dbGAP应用程序访问，链接为 https://www.ncbi.nlm.nih.gov/projects/gap/cgi-bin/study.cgi?study_id=phs000424.v8.p2。
- 作用：GTEx（Genotype Tissue Expression）项目的数据集是本研究的主要数据来源，包含了大量捐赠者的基因型和基因表达信息。这些数据被用来训练和验证RNAPath模型，以及进行基因表达和组织形态之间关系的分析。
-
其他数据:
- DINO ViT 和 RNAPath 模型权重、注释和 GWAS 摘要统计数据：通过GitHub链接提供。
- 作用：这些数据是研究中使用和生成的关键数据，包括模型的权重参数、用于训练和测试模型的注释数据，以及进行GWAS（全基因组关联研究）的摘要统计数据。这些数据的公开有助于其他研究者理解研究方法的细节，以及在他们自己的研究中使用或比较这些数据。
-
额外的数据集:
- Human Protein Atlas 的免疫组织化学图像：用于验证RNAPath模型预测的空间RNA表达。
- 作用：这些图像提供了地面真实数据，用于与RNAPath模型的预测结果进行比较，以验证模型在预测特定组织亚结构中基因表达的空间分布方面的准确性。
三、持续学习在病理图像检索中的应用：一种抗遗忘的检索框架
一作&通讯
| 作者类型 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | 朱 | 北京航空航天大学宇航学院图像处理中心 |
| 通讯作者 | Yushan Zheng | 北京航空航天大学生物医学工程北京高级创新中心 |
文献概述
这篇文章提出了一种名为Lifelong Whole Slide Retrieval (LWSR)的框架，通过局部记忆库和距离一致性复习模块有效解决了在不断增长的全切片图像数据库中进行持续学习时的灾难性遗忘问题。
全切片图像（Whole Slide Images, WSIs）作为数字化病理诊断的重要资源，其数量随着时间的推移而不断增加。
在这样的背景下，如何有效地从庞大的数据库中检索出与查询图像内容相似的图像，成为了一个亟待解决的问题。基于内容的组织病理学图像检索（Content-based Histopathology Image Retrieval, CBHIR）技术应运而生，它通过分析图像内容来检索相似的病理图像。
然而，随着数据库的不断扩展，传统的CBHIR系统面临着一个重大挑战——灾难性遗忘（Catastrophic Forgetting）。这种现象指的是，当系统学习新的数据时，会遗忘之前学到的信息。在医学图像检索系统中，这可能导致检索结果的不一致性，从而影响医生的诊断决策。因此，开发一种能够持续学习并保持知识稳定的CBHIR系统变得尤为重要。
为了应对这一挑战，研究者们提出了Lifelong Whole Slide Retrieval（LWSR）框架。
LWSR是一种创新的解决方案，它通过在不断增长的检索数据库上逐步更新模型，以平衡模型的稳定性和可塑性。具体来说，LWSR采用了以下几个关键技术：
-
局部记忆库：局部记忆库是一种存储机制，它使用水库抽样方法来保存历史任务的实例。这种方法能够确保记忆库中保存的实例能够代表旧任务的特征空间，从而在新任务学习时，帮助模型回忆起先前学到的知识。
-
距离一致性复习（Distance Consistency Rehearsal, DCR）模块：DCR模块是LWSR的核心组件之一。它通过确保先前任务的检索队列的一致性，来维持系统的稳定性。在特征空间中，这意味着即使在学习了新任务之后，旧任务实例之间的距离关系也应保持不变。DCR通过最小化当前任务和重放样本的距离矩阵之间的差异来实现这一目标。
通过在四个来自The Cancer Genome Atlas（TCGA）项目的公共WSI数据集上的实验，研究者们验证了LWSR框架的有效性。实验结果显示，LWSR在减少灾难性遗忘和提高检索精度方面均优于现有的技术。
在方法的细节方面，LWSR的实现包括以下几个步骤：
-
数据准备和问题定义：研究者们首先定义了连续学习CBHIR的问题，并说明了如何从WSI数据库中提取特征。这些特征是图像分析的基础，它们能够捕捉到图像中的关键信息。
-
距离一致性复习算法：研究者们详细介绍了DCR模块的工作原理。这包括如何构建目标距离矩阵，以及如何通过最小化当前任务和重放样本的距离矩阵之间的均方误差来维持重放样本的距离一致性。
-
LWSR的目标函数：为了优化模型，研究者们设计了一个包含成对损失、交叉熵损失和距离一致性损失的目标函数。这个端到端的融合优化模型旨在提高检索精度，同时保持检索队列的稳定性。
在实验设置方面，研究者们构建了一个包含TCGA四个数据集的序列WSI检索数据集，并定义了连续的组织病理图像数据库作为动态增长的数据库。这种设置模拟了实际的临床环境，其中数据库会随着时间的推移而不断扩展。
通过与全监督训练模型（JointTrain）和逐个训练模型（Finetune）的比较，研究者们验证了LWSR方法在减少灾难性遗忘方面的有效性。此外，LWSR还与其他几种经典的连续学习方法进行了比较，包括基于正则化的方法和基于重放的方法，结果表明LWSR在各种情况下均表现出优越的性能。
文章最后总结了LWSR框架在解决组织病理图像检索领域连续学习问题方面的贡献，并指出了其在类增量检索任务场景中的有效性。此外，文章还提供了代码的链接，以及对实验设置、评估指标、实现细节和超参数的详细说明，为后续的研究提供了宝贵的资源。
代码&数据
Lifelong Whole Slide Retrieval (LWSR)框架的源代码，链接是：https://github.com/OliverZXY/LWSR。
文章中提到的数据集是来自The Cancer Genome Atlas (TCGA)项目的四个公共全切片图像（WSI）数据集，这些数据集被用于评估LWSR框架的性能。数据集包括：
- TCGA-NSCLC（非小细胞肺癌）
- TCGA-BRCA（乳腺癌）
- TCGA-RCC（肾细胞癌）
- TCGA-GAST（胃肠道癌）
四、SlideGCD：基于切片图协作训练与知识蒸馏的全切片图像分类方法
一作&通讯
| 作者角色 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | 舒 | 合肥工业大学计算机科学与信息工程学院 |
| 通讯作者 | 史 | 合肥工业大学软件学院 |
| 通讯作者 | Yushan Zheng | 北京航空航天大学生物医学工程高级创新中心 |
文献概述
这篇文章提出了一种名为SlideGCD的新型全切片图像分析流程，通过构建基于切片的图和应用知识蒸馏技术，有效提升了病理图像分类的性能。
最近，一种创新的WSI分析方法——SlideGCD，引起了研究者们的广泛关注。这种方法不仅关注单个切片内的病理特征，而且通过探索不同切片之间的相互关系，进一步提升了对病理图像的表示学习能力。
SlideGCD的核心思想是将WSI数据集视为一个由多个节点组成的图，其中每个节点代表一个切片。通过构建这种基于切片的图，SlideGCD能够捕捉和利用切片之间的内在联系，这些联系可能在传统的单切片分析方法中被忽视。
这种方法的主要贡献可以概括为以下三点：
-
提出通用分析流程：SlideGCD提出了一个创新的、可泛化的WSI分析流程，它能够与现有的任何多实例学习（MIL）方法无缝集成。MIL是一种机器学习范式，它将一个大数据集视为多个实例的集合，每个实例可以独立地对最终结果做出贡献。在WSI分析中，这意味着每个切片可以被视为一个包含数千个组织样本图像（即“补丁”）的集合。SlideGCD通过将这些切片节点放入图中，并通过图学习技术来挖掘它们之间的关系，从而提高了分析的深度和广度。
-
基于复习的图构建策略：为了更好地描述切片之间的相互关系，SlideGCD采用了一种基于复习的图构建策略。这种策略通过动态地更新图中的节点连接，使得模型能够自适应地捕捉切片之间的复杂关系。此外，SlideGCD还采用了协同训练和知识蒸馏技术，这允许模型从MIL分类器中提取并转移已有的知识，从而提高了学习效率和预测准确性。
-
性能提升的一致性验证：在两个来自癌症基因组图谱（The Cancer Genome Atlas, TCGA）的基准数据集上，即乳腺癌（BRCA）和非小细胞肺癌（NSCLC），SlideGCD对四种先前最先进的MIL方法进行了性能提升的验证。这些数据集包含了大量的病理图像，是评估WSI分析方法性能的宝贵资源。实验结果一致表明，SlideGCD能够有效提升这些方法的性能，证明了其在实际应用中的潜力。
文章还详细介绍了SlideGCD的工作流程，包括问题的表述、使用MIL网络作为骨干网络的方法、SlideGCD的详细工作流程、基于切片的图构建、图学习技术、以及协同训练与知识蒸馏的策略。
在实验部分，作者通过在BRCA和NSCLC数据集上的实验，展示了SlideGCD在WSI分类任务中的性能。这些实验不仅验证了SlideGCD的有效性，而且通过与现有技术的比较，进一步突出了其优势。
此外，文章还对超参数进行了深入研究，探讨了超边的大小、节点缓冲区的大小和蒸馏温度等参数对模型性能的影响。
代码&数据
-
代码链接：
- 链接地址：https://github.com/HFUT-miaLab/SlideGCD
- 文章中的作用：该代码库是实现SlideGCD方法的源代码，它允许研究人员和开发人员复现文章中描述的方法，进行进一步的研究和开发。代码库通常包含算法的实现、训练模型的脚本、数据处理工具以及可能的预训练模型等。
-
数据集：
- 数据集名称：The Cancer Genome Atlas (TCGA)
- 文章中的作用：TCGA是一个公开的癌症基因组数据集，它包含了多种癌症类型的详细信息，包括基因组、转录组、蛋白质组和临床数据。在这篇文章中，TCGA数据集被用来验证SlideGCD方法在全切片图像分类任务中的有效性。文章中特别提到了两个TCGA的子数据集：BRCA（乳腺癌）和NSCLC（非小细胞肺癌），这些数据集包含了相应的诊断WSI图像，用于训练和测试SlideGCD模型的性能。
五、细粒度病理图像与报告匹配的深度学习模型
一作&通讯
| 作者角色 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | Dingyi Hu | 北京航空航天大学生物医学工程高级创新中心，工程医学学院，北京，100191，中国；宇航学院图像处理中心，北京，100191，中国 |
| 通讯作者 | Yushan Zheng | 北京航空航天大学生物医学工程高级创新中心，工程医学学院，北京，100191，中国 |
文献概述
这篇文章提出了一种新型的细粒度数字病理跨模态检索框架，利用病理切片图像和诊断报告之间的语义对应关系，通过深度学习模型实现高效的病理图像检索，以辅助临床诊断。
WSI是指通过特殊的扫描设备将病理切片完整扫描并数字化得到的高分辨率图像，它们能够提供比传统显微镜下观察更为丰富和细致的组织学信息。然而，由于WSI的尺寸通常非常庞大，包含数十万到数百万像素，因此如何有效地从这些图像中检索出对病理学家诊断有意义的信息，是一个亟待解决的问题。
本文介绍的新型细粒度数字病理跨模态检索框架，正是为了解决这一挑战而设计的。该框架的核心在于利用病理学家撰写的诊断报告，这些报告中蕴含了丰富的语义信息，能够帮助系统理解WSI中的关键特征。通过与WSI配对的诊断报告，框架能够学习到图像内容与文本描述之间的细粒度语义对应关系。
在技术实现上，该框架采用了基于锚点的WSI编码器来提取图像的分层区域特征。这里的“锚点”（anchors）是指在图像中预先定义的一些关键区域，它们能够代表图像中的显著特征。通过锚点，编码器能够捕捉到图像中的局部细节，并将其转换为能够表征这些区域的特征向量。与此同时，框架还引入了基于提示的文本编码器，它专门用于处理诊断报告中的文本信息。“提示”（prompts）是指在文本中预先定义的关键词或短语，它们能够引导文本编码器关注报告中与诊断最相关的部分。
通过这两种编码器，框架能够在实例级别和区域级别上，利用多变量跨模态损失函数进行训练。
这种损失函数能够确保图像和文本之间的语义信息得到有效的对齐和学习。训练完成后，框架能够执行四种类型的检索任务，包括图像到图像、文本到文本、图像到文本和文本到图像的检索，以满足不同的诊断需求。
研究者们为了验证该框架的有效性，在内部构建的数据集和公开可用的GastricADC数据集上进行了广泛的实验。这些数据集包含了大量的WSI和对应的诊断报告，为评估提供了丰富的素材。
实验结果表明，该框架在检索准确性和效率上都展现出了显著的优势，优于当前大多数组织病理学图像检索方法。
文章的主要贡献可以总结为以下几点：
- 创新性地提出了一种细粒度跨模态表示学习模型，该模型专门针对WSI和诊断报告之间的检索任务设计，能够自动进行训练，无需依赖于繁琐的手工注释。
- 引入了锚点-提示对齐方案，这是一种新颖的技术手段，用于在WSI的区域表示和诊断报告中的关键词之间建立准确的对应关系。
- 在两个不同的数据集上进行了深入的实验研究，不仅验证了框架的有效性，还通过消融研究和可视化分析，展示了模型内部的工作原理和性能。
此外，文章还对相关的研究领域进行了广泛的讨论，包括组织病理学图像检索和语言-图像表示学习等。作者详细阐述了所提出方法的各个组成部分，包括预处理步骤、基于锚点的WSI编码器、基于提示的报告编码器、图像-语言对齐策略、检索过程等。
在实验部分，作者还介绍了实验设置、评估指标、内容提示列表的验证、锚点设置的验证、消融研究、与其他方法的比较以及可视化分析等内容。最后，文章对模型的时间复杂度、PIoU值的低水平原因进行了讨论，并对未来的研究方向提出了展望。
代码&数据
代码链接：
- https://github.com/hudingyi/FGCR
六、蒙版超图学习在弱监督组织病理学全切片图像分类中的应用
一作&通讯
| 作者角色 | 作者姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | Jun Shi | 合肥工业大学软件学院 |
| 通讯作者 | Yushan Zheng | 北京航空航天大学生物医学工程高级创新中心 |
文献概述
这篇文章提出了一种新型的蒙版超图学习（MaskHGL）框架，用于提高弱监督下组织病理学全切片图像分类的性能。
WSI是指通过高分辨率扫描仪数字化的整个病理切片图像，它们包含了丰富的组织学信息，对于疾病的诊断和治疗至关重要。然而，由于WSI数据的高维度和复杂性，传统的分析方法往往需要大量的专业知识和时间。
为了克服这些挑战，研究者们开发了基于图神经网络（GNN）的方法来分析WSI，这些方法通过模拟图像中不同区域（称为补丁）之间的关系来提取特征。
尽管GNN在模拟成对关系方面取得了一定的成功，例如通过考虑空间邻近性或嵌入相似性，但它们通常忽略了WSI中更复杂的非成对关系。这些非成对关系可能涉及到三个或更多补丁之间的相互作用，对于理解病理学特征和提高分类准确性至关重要。
因此，本研究的目标是开发一种新型的蒙版超图学习（MaskHGL）框架，以探索和利用WSI中的非成对关系，从而提高分类性能。
MaskHGL框架的核心在于超图的概念。
超图是一种可以包含多个顶点（即多个补丁）的图结构，它允许我们同时考虑补丁之间的成对和非成对关系。
在MaskHGL中，我们首先为每个WSI构建一个多视角超图，这涉及到从不同的分析角度（如空间和特征嵌入空间）定义多种类型的超边。然后，我们引入超图注意力机制，这是一种学习算法，可以根据补丁之间的复杂关系动态调整它们之间的连接强度。
此外，我们还设计了一个蒙版超图重构模块，它通过遮盖一部分节点（即部分补丁）并尝试在模型中重构这些节点的特征，从而增强模型对数据的泛化能力。
在两个公共的TCGA数据集和一个内部数据集上评估了MaskHGL框架
TCGA数据集是癌症基因组图谱项目的一部分，包含了大量的癌症组织病理学图像。
实验结果显示，在TCGA-LUNG和TCGA-EGFR数据集上，MaskHGL在接收者操作特征曲线下面积（AUC）这一评价指标上均取得了优异的性能。
特别是在USTC-EGFR数据集上，MaskHGL的AUC达到了0.8745，显著优于现有的最佳方法SlideGraph+，这表明框架在处理实际临床数据时具有更高的准确性和鲁棒性。
MaskHGL框架通过考虑WSI内固有的非成对关系，在多个下游WSI分类任务中显示出显著的改进。这一发现对于提高病理学图像分析的自动化和准确性具有重要意义。特别是蒙版超图重构模块的开发，不仅缓解了数据稀缺的问题，还显著提高了模型的鲁棒性和分类能力，这为未来在更广泛的临床应用中部署这一技术提供了可能性。
尽管MaskHGL框架在当前的研究中已经取得了显著的成果，但仍然存在进一步改进的空间。未来的研究将集中在降低模型的计算要求，以提高其在实际临床环境中的部署可行性。
此外，还将探索将蒙版重构策略作为一般超图增强方法的可能性，以进一步扩展其在其他医学图像分析任务中的应用。
代码&数据
-
代码链接：
- 链接：https://github.com/HFUT-miaLab/MaskHGL
- 作用：这是文章中提出的蒙版超图学习（MaskHGL）框架的代码库。它包含了实现该框架所需的所有源代码、预训练模型、训练脚本和评估工具。研究人员和开发人员可以通过这个链接访问代码，复现实验结果，或者在该框架的基础上进行进一步的研究和开发。
-
数据集：
- 名称：TCGA-LUNG, TCGA-EGFR, USTC-EGFR
- 作用：
- TCGA-LUNG：这是一个公共数据集，包含了肺癌的组织病理学全切片图像，用于肺癌症亚型的分类任务。
- TCGA-EGFR：这是另一个公共数据集，包含了用于EGFR基因突变预测的组织病理学全切片图像。
- USTC-EGFR：这是一个内部临床数据集，包含了更多细粒度突变状态标签的肺组织病理学图像，用于评估实验方法在临床实践中的应用潜力。
- 数据集来源：
- TCGA-LUNG 和 TCGA-EGFR 数据集是从 The Cancer Genome Atlas (TCGA) 获得的，这是一个公开的癌症基因组数据门户，提供多种癌症类型的高通量基因组数据。
- USTC-EGFR 数据集则是由 University of Science and Technology of China (USTC) 的第一附属医院收集的，并且已经得到了相应的伦理批准。