临床预测模型的临床影响力研究之诊断类回归模型
国外的AI工具已经开始进行临床影响力研究了,可以在clinicaltrails.gov网站上看到许多已经完成的研究,意味着AI诊断和预测工具更加接近临床实践了。
预测模型特点:
- 输入为手骨的图像和性别 ;
- 采用回归算法,输出结果为骨龄;
- 诊断类预测模型
课题摘要:
目标是研究人工智能算法(CADx)估计骨龄与传统方式估计骨龄两种诊断结果是否有区别。目前临床做法是放射科医生仅使用放射线图像和健康记录进行估计,而在这项研究中,放射科医生将根据放射线图像、健康记录和CADx算法的输出来估计骨骼年龄。研究人员希望了解使用和不使用人工智能算法估算骨龄的放射科医生在骨骼年龄估计这个特定任务上的表现。
这是一项多机构随机对照试验,分为两组——实验组(接受人工智能算法的输出)和对照组(无干预)。这两组将与由放射科医生组成的临床参考标准(“金标准”)进行比较。比较的度量将是平均绝对距离(MAD)。研究人员计划使用t检验等统计检验来确定两组之间骨龄估计的任何统计显著差异。
研究人员从1600次检查的样本中收集并分析了数据。接受这些检查的患者将不会接受任何偏离当前标准做法的研究程序。
干预措施
- 对照组中,放射科医生使用传统方式估计骨骼年龄;
- 实验组中,AI算法( “BoneAgeModel”)根据手骨的X光图像和性别对骨骼年龄做出判断,放射科医生参考AI算法的结果并最终做出骨骼年龄的判断。
结果
变量 | 对照组 | 实验组 | P | Odds Ratio (OR) |
---|---|---|---|---|
n | 739 | 739 | ||
年龄 | 11.8(3.6) | 11.5(3.6) | ||
性别 | ||||
女 | 338(45.7%) | 359(45.3%) | ||
男 | 401(54.3%) | 433(54.7%) | ||
骨龄(金标准) | 11.6(3.6) | 11.4(3.5) | ||
*平均绝对差值 | 5.95(5.53 to 6.37) | 5.36(5.01 to 5.71) | 0.04 | -0.59(-1.14 to -0.04) |
*两组得出的骨龄结果分别与金标准比较 |
结论
结果显示,实验组得出的结论误差更小,且具有统计学意义,提示AI辅助放射科医生进行骨龄判断有助于提高估计的准确度。
这是一个非常简单的临床预测模型在临床上应用的例子,其中实验设计者没有让AI算法单独做出诊断,而是仅仅是辅助,可能是有伦理方面的考量,实验设计者还设定了一个金标准,让两组分别与金标准进行比较,也是一个可以借鉴的地方。
因为是回归模型,不牵扯预测概率,相对简单,我们后续会逐个考察其它类型的预测模型的临床影响力的研究。