Deep learning in automated ultrasonic NDE – Developments, axioms and opportunities
传统上，超声无损检测数据分析一直由训练有素的操作员在基本自动化工具的支持下手动解释数据。最近，开始出现许多针对个别无损检测任务（数据预处理、缺陷检测、缺陷表征和属性测量）的深度学习（DL）技术演示。只要有足够的训练数据，这些方法就有可能提供高度的灵活性、效率和准确性。此外，它们还能使跨越一个或多个无损检测步骤（如检测、表征和尺寸测量）的复杂流程实现自动化。然而，人们对这些新方法应遵循的方向和要求缺乏共识。这些要素对于实现由人工智能驱动的超声波无损检测自动化至关重要，这样才能得到研究界、行业和监管机构的认可。本文回顾了由 DL 方法实现的自主超声波无损检测的最新进展。综述按照通过 DL 方法解决的无损检测任务进行组织。同时还指出了每项任务所面临的主要挑战。在文献综述、相关国际法规和当前工业需求的基础上，确定了无损检测中 DL 方法的基本公理原则。通过将 DL 方法置于一般无损检测自动化水平的背景下，本文旨在为该领域的未来研究和发展提供路线图。
1.Introduction：
超声波无损检测过程的自动化通常仅限于为训练有素的操作员手动解释无损检测数据提供支持的基本工具。但某些大规模生产系统是个例外，在这些系统中，对具有精确已知几何形状的部件进行简单检测的无损检测是完全自动化的。初级工具的例子包括测厚仪（根据超声波 A 扫描数据自动计算壁厚）[1]，或自动探伤仪（识别超过规定振幅的回波）[2,3]。这些方法仅适用于具有明确特征的信号，因此无法处理因环境变化或制造不确定性以及几何和材料复杂性而产生的复杂数据变化。正是在这种情况下，机器学习（ML）方法显示出巨大的优势，因为它以数据为基础，能够高效地模拟复杂的行为。在 ML 中，深度学习 (DL) 技术因其能够利用多个内部处理层从数据中提取更高级别的特征而脱颖而出。在被广泛称为 "工业 4.0 "的数字化工作实践中，大型数据集的数量将在未来几年内大幅增长。这些数据将成为开发新的基于 ML 的检测流程的关键，这些流程将与工业 4.0 提供的新机遇（包括大数据和自主系统）相匹配 [4,5]。需要注意的是，如今的 ML 技术开发成本相对较低，而且易于实施。此外，由于增强了自身处理复杂情况的能力，它们有可能使重复性无损检测流程实现更高水平的自动化。尽管如此，这项技术仍处于早期开发和应用阶段，尤其是在安全关键型工业环境中的无损检测应用。
本文回顾了主要通过 DL 方法实现的自主超声波无损检测的最新进展。DL 在无损检测中的最终目标有两个：提高安全水平，减少检测时间和成本。实现这些目标的途径包括：(i) 涉及数据的过程完全自动化；(ii) 减少决策链中的人工干预；(iii) 最终取代人工检查员。本文对基于 DL 的无损检测领域最相关的最新科学贡献进行了批判性分析。综述论文围绕无损检测任务（即数据预处理、检测、表征和属性测量）展开。通过审查和与其他工业部门的比较，提出了一系列自动化级别，作为潜在的自动化路线图，这些级别与其他领域（如自主飞行器）中使用的自动化级别类似 [6,7]。为了明确区分自动化道路上的前几个步骤，这些级别还提出了随着系统的发展，无损检测操作员和自主系统应承担的主要责任。预计这种区分将有助于工业界和研究人员对自主系统进行分类，为实现更高的自动化水平提供更清晰的路径。请注意，本文的重点是超声波无损检测，尽管这些级别对任何无损检测模式都是通用的，但对非超声波无损检测的 DL 贡献不在本文的审查范围之内。因此，不同的无损检测模式和技术目前可能处于不同的自动化水平。
尽管最近在该领域有大量贡献，但对于无损检测 DL 方法应具备的基本特性仍缺乏共识。这些特性不同于传统的检测方法，因为 DL 方法主要由数据而非基于物理的模型驱动。本文提出了一套无损检测 DL 的公理属性。与自动化水平一样，这些公理也是在与航空航天、核能、可再生能源和石油天然气等多个领域的重要行业从制造和操作检测角度进行讨论后得出的。目前，大多数行业在无损检测中实施基于 DL 的自动化技术的程度相对较低；但是，所有行业都在计划未来实施这项技术。此外，各行各业都在进行初步测试，以评估 DL 的优势，从而提高检测和制造过程的自动化程度。
2.Neural networks and models
本节将简要介绍一些最常用的神经网络和已建立的 DL 模型。请注意，网络指的是 DL 算法的一般架构，而模型指的是为某个目的而固定的特定架构实现。本节的目的是全面介绍这些网络的功能，为文献综述提供背景。这些网络和模型的图示见图 1，摘要见表 1（其中还列出了一般概述参考文献），具体如下：
● Fully-connected neural network (FCNN).这种前馈网络由多层人工神经元组成。这些神经元与下一层和上一层的所有神经元相互连接。神经元执行数据转换操作，即通过激活函数 σ(⋅)，即 σ(W⋅ x + b)，将数据 x 通过矩阵权重 W 乘以偏置 b 进行转换。根据层数的不同，可以区分出两种 FCNN。
● Convolutional neural network (CNN). 这种网络尤其适合处理结构化数据；卷积层能够通过将一维、二维和三维输入数据卷积成特征图来提取多维特征。CNN 最初是为处理视觉信息而设计的，它可以应用于任何类型的结构化数据，如一维、二维、三维甚至四维结构的数据。它们由卷积层组成，执行核与输入数据之间的卷积，计算二者之间的点积，如图 1c 所示。请注意，每个滤波器的输入数据都使用相同的内核权重。一个网络被称为 CNN 的唯一必要条件是至少包含一个卷积层[9]。CNN 已被应用于语义分割（即使用猫、草或天空等不同标签对图像像素进行分类）、物体检测和图像分类 [10]等多个领域。由于其灵活性和良好的性能，CNN 模型的通用系列正在不断发展。
● Recurrent neural network (RNN).这类网络旨在提取时序数据的动态信息。根据输入和输出的数量，RNN 可有不同的模式，如一对一、一对多、多对一和多对多 [19]。多对多 RNN 的一个例子如图 1d 所示，网络根据输入数据 i(t)和隐藏状态 h(t 1) 和 h(t)，在时间 t 上做出预测 o(t)；因此，这种类型的 RNN 在隐藏层上是递归的。请注意，RNN 可以有任意数量的堆叠隐层。这些网络的经典变体在其内存中可存储的短期信息方面存在一些限制。这就使得它们无法预测在整个时间内具有不同变化频率的量，即长期依赖性。
● Long short-term memory (LSTM) and gated recurrent unit (GRU) networks。这些网络是 RNN 的变种，有效解决了经典 RNN 的主要问题（短时记忆），并通过一个记忆单元（C(t 1)）和一系列附加门（如遗忘、输入和输出门）增加了对更长依赖关系建模的功能；LSTM 单元的图形描述见图 1e。当时间数据以复杂的方式演变，并出现多种频率的变化时，这就能实现更好的预测。同样，基于 GRU 的网络是 RNN 的另一种变体，它使用单个单元来控制遗忘门和更新状态单元的决策。LSTM 和 GRU 网络已被应用于手写识别、语音识别和图像字幕制作。
● Autoencoder (AE).这是一个特定术语，用于描述由两个独立角色组成的网络（见图 1f）：编码器网络通常从输入数据中提取代表性信息（潜在表征）并降低其维度；解码器网络通常需要从潜在变量中重建输入（或输入的变体）数据。通过这种方式，可以在没有监督的情况下对网络进行训练，以便从数据中提取具有代表性的特征。这种架构还可用于图像和时间序列的去噪，其中输入为噪声数据，输出为去噪数据。需要注意的是，编码器和解码器网络的类型没有限制，因此可以由全连接层、卷积层和/或递归层组成。文献中最著名的 AE 模型可能是 U-Net [20]，它已被广泛用于图像分割和对象分类。
3.Review of the literature
本节将全面分析基于 DL 的无损检测的主要贡献和最新技术。从数据预处理（包括去噪和成像）到缺陷特征描述，这些内容都考虑到了正在处理的无损检测任务。确定了开发以无损检测为重点的 DL 方法时面临的最常见挑战，并说明了解决方案。请注意，本节的分类不可避免地会造成特定无损检测问题的 ML 任务重叠，例如，缺陷检测可以通过二元分类或对象检测来解决。不过，表 2 提供了无损检测任务与文献综述中发现的 ML 任务之间的总体映射。
3.1. Data pre-processing
数据预处理包括一些技术，其目的是提高用于后期提取无损检测信息的数据的质量，但其本身通常并不提供无损检测信息。就超声波数据而言，预处理包括但不限于：Ascans（单个信号）和图像的去噪；特征识别和提取，以减少数据；数据压缩，以减少阵列成像等应用中的通信开销；以及图像创建和处理。
3.1.1. Denoising of A-scans/images
本节汇集了旨在抑制噪声、提高信噪比 (SNR) 和去除超声波信号中选定元素（如边界源回声）的不同研究成果。在 A 扫描数据和原始数据去噪方面，Munir 等人[22]提出了一种去噪 AE，以提高信噪比，同时作为副产品加强缺陷分类。训练和测试使用了两个独立的数据集，每个数据集分别包含 3825 个和 2100 个信号。通过对实验信号进行时移，采用了一种数据增强策略，从较小的实验信号集中创建更多的训练数据。与带通滤波器和平均法等抑制高水平噪声的传统方法相比，所提出的去噪 AE 提供了一种计算效率高、通用性强的方法。根据缺陷类型的不同，分类性能提高了 1 到 10%。Gao 等人[23]提出了一种使用基于图像的 AE 对超声波信号进行去噪的混合方法。其目标是获得一种无需输入参数的去噪信号处理方法，从而减少人为误差。其主要思路是将信号从数值阵列映射到信号的时幅图像中，然后将其输入 AE，AE 通过修正像素位置对信号进行去噪处理。然后将去噪图像转换回信噪比更高的时域信号。训练和测试数据集分别包括来自超声相控阵配置的 500 和 100 个实验信号。与经验模式分解（EMD）、主成分分析（PCA）和奇异值分解（SVD）等其他去噪方法相比，所提出的方法增加了信号特征定义的独立性，并且不对分解层或小波基函数做任何假设。去噪结果显示了不同信噪比水平下的鲁棒性。
另一种去噪方法是提取感兴趣的值（如飞行时间（ToF））。这种去噪类型的一个例子见参考文献[24]。参考文献[24]中，作者提出了一种方法来改善穿透深度和轴向分辨率之间的平衡，尤其是当频率增加导致衰减增加和信噪比降低时。如图 2b 所示，设计了一种 CNN，用于分离来自反射体和边界的重叠回波，同时估算每个回波的 ToF 和振幅。这通常是通过交叉相关或解卷积来实现的。所提出的方法克服了一些局限性，如需要事先了解界面反射率和多重反射路径，以及对噪声的敏感性。使用来自带缺陷有限元模型的 2000 个模拟信号对 DL 方法进行了训练，并使用实验数据对其性能进行了验证。结果表明，在信噪比不超过 20 dB 的情况下，检测到反射体的成功率很高，误检率很低，但超过 20 dB 时，精度会急剧下降。Cantero-Chinchilla 等人[25] 提出了 DL 架构，用于识别和抑制全矩阵捕获 (FMC) 数据中的结构伪影，从而通过多视角全聚焦法 (TFM) 获得更清晰的超声波图像。我们开发了一种基于 AE 的方法，包括一个从 FMC 数据中提取物理参数（如试样厚度、探头角度和探头间距）的编码器和一个将编码器输出作为输入并预测结构伪影到达时间的解码器。通过在原始 FMC 数据中应用掩蔽窗口，利用到达时间信息来抑制伪影。然后，将屏蔽数据用于超声波多视图成像，并与直接在 TFM 视图中去除伪影的方法进行比较[26]。4913 个无缺陷 FMC 的模拟数据集用于训练 DL 模型，而验证则在实验数据上进行。结果表明，DL 方法在去除伪影而不完全遮蔽图像区域方面具有卓越的性能，因此可以透视出更多可能存在缺陷的信息。Gao 等人[27]开发了一种自主系统，通过（1）对原始脉冲回波数据去噪，以及（2）ToF 估算来增强超声波测井。与基于模型的方法（如最大似然估计和期望最大化）、先验知识解卷积和局部-全局窗口等现有方法相比，所提出的 DL 框架被证明在噪声环境中更高效、对知识的依赖性更小、精度更高。所提出的去噪方法由两个 DL 网络、一个解码器-U-网络结构和一个用于去噪和重建的 AE 组成。编码后的特征将作为 ToF 的 FCNN 的输入。作者利用迁移学习 [28] 将微震 P 波（标记）信号迁移到未标记的脉冲回波数据中，由于从两个数据集中提取了共享的隐藏特征，这反过来又提高了 ToF 检测的准确性。迁移学习通过在源域上训练 DL 模型并将知识迁移到不同的目标域来解决训练数据不足的问题。源域由专家标记的现场微地震数据组成，而目标域则由在实验室和现场获得的未标记样本组成。
参考文献[29]提供了一个图像（C 扫描）去噪的例子。文献[29]中，作者开发了一种用于空气耦合超声波数据去噪的 DL 方法（众所周知，这种数据具有较低的信噪比），可提高经典滤波器（如高斯函数拟合或萨维茨基-戈莱滤波器）的性能。在这种情况下，C-san 数据的去噪分为两个步骤：(1) LSTM 模型与一维卷积层相结合，将每个像素（或扫描中的信号）分为两种状态，即损坏或未损坏；(2) 然后将 (1) 中的二值图像输入 CNN 模型，该模型可去除大部分图像噪声，从而更清晰、更准确地表示缺陷（见图 2c）。(1) 的训练数据集包括 369 730 个实验数据点（即来自实验室 C 扫描中的单个信号），(2) 的训练数据集包括 109 370 个数据点。这种方法的主要预期效益是使空气耦合超声波更有用，提高数据质量。
从已发表的论文来看，AE 在去噪方面的应用值得重点关注。使用 AE 的主要好处之一是不需要任何先验假设，并能实现更准确的缺陷分类。然而，AE 会丢失一定程度的超声波信息，尤其是低振幅回波。这种信息损失可能对缺陷表征等某些应用至关重要。可以采用其他训练策略（例如通过生成对抗网络 [30]）和增加模型复杂度来解决这一问题。另一个问题是缺乏真实的训练数据。[27] 中通过迁移学习解决了这一问题。这与无损检测应用尤为相关，因为无损检测应用仍然缺乏大型实验数据库，尤其是有损伤的数据库。
3.1.2. Data reduction and compression
3.1.3. More efficient/higher resolution image formation
3.2. Defect detection
这项无损检测任务提供了关于被检测结构是否存在缺陷的二进制信息。Guo 等人[41]提出了一种超声波信号自动分类方法，利用 DL 方法检测 A 扫描中的缺陷。通过使用 DL，可以直接从 A 扫描图像而不是 C 扫描图像中检测缺陷，这在性能上具有优势，因为 A 扫描获取速度更快，通常需要更便宜的设备来获取。DL 模型由 GRU 和 CNN 的并行架构组成，用于处理超声波信号（分别提取时间特征和全局特征），并将其分为两类：缺陷和无缺陷。训练、验证和测试数据集由实验获取的 3600 个超声波信号组成。与 LSTM、GRU 或 ResNet 等其他网络相比，所提出的模型具有更高的准确性（参见第 2 节）。Yan 等人[42] 开发了一个 CNN-SVM（支持向量机）框架，用于通过电磁声学传感器 (EMAT) 获得的超声波信号自动识别管道周长裂缝。在这项工作中使用 DL 的动机是为了克服使用电磁声学传感器的局限性，即传输效率低和升降导致信噪比低。这最终会给解读管道环缝裂纹数据带来困难。在这种方法中，CNN 充当特征提取器，而 SVM 则负责将数据分类为来自缺陷或非缺陷结构的数据。该模型的输入是滤波 EMAT 信号的频谱图。共有 2160 个实验信号被用于训练 DL 框架。在使用离散小波变换、香农熵和其他统计特征等经典方法提取特征时，所提出的方法优于其他方法。然后观察了 RNN 和一维 CNN 如何通过 A-scan 数据进行缺陷检测，因为这两种 DL 架构非常适合处理时间和阵列结构数据。
DL 也被应用于超声波 B 扫描的缺陷检测。例如，Yuan 等人[43] 提出了一种 FCNN 框架，用于识别火车车轮 B 扫描中的缺陷回波。这里提出的 ML 是一种自动检测的方法，可以解决与数据相关的异质性问题，例如，由于车轮结构的复杂性而产生的不同背景噪声水平。该模型由两个网络组成，第一个网络对缺陷和噪声信号进行分类，第二个网络对来自缺陷或其他地方的回声进行分类。网络接收从 B 扫描数据中手动提取的特征（如方差和峰值信噪比）作为输入。两个网络分别使用了 736 个和 582 个实验数据样本进行训练。结果显示，缺陷识别率达到 92%，准确率相对较高。Medak 等人[44] 通过 EfficientDet 网络（最初开发用于物体检测）提出了一种自动缺陷检测网络，该网络将超声波 B 扫描图像作为输入。所提出的方法采用了图像处理 DL 架构（EfficientDet），在新数据中的性能优于其他 DL 模型（YOLOv3 [45] 和 RetinaNet [46]），同时还能自动进行缺陷检测。B 扫描图像被输入该模型，缺陷回波通过缺陷位置重叠的方框被识别，从而有效地检测出缺陷。包含不同缺陷的 6637 幅实验图像被用于训练 DL 框架。结果显示，与 ResNet 等其他 DL 模型相比，检测精度更高。Virkkunen 等人[47]进行了一项有趣的研究，将用于从相控阵超声波 B 扫描图像中检测缺陷的 CNN 模型的性能与三名人类操作员的性能进行了比较。CNN 模型采用数据增强技术进行训练，以克服数据有限的问题并帮助学习。对虚拟缺陷信号进行修改，以再现不同位置、深度或长度的缺陷。通过结合无缺陷实验数据和模拟缺陷数据，共生成了 20000 个数据样本来训练 CNN。论文显示，CNN 模型的误判率分别为 0 次和 2 至 36 次，比运算器的误判率更高。
Slonski 等人[48] 研究了通过超声断层扫描图像对混凝土进行自动化探伤。提出使用 DL 实现自动化的依据是，与操作员检测相比，DL 更有效率，因此成本更低，而且不易出错。作者使用了 VGG-16 [49]网络，该网络在一个大型图像数据库（ImageNet [50]）上进行了预训练，并通过使用一组在实验室拍摄的 246 张 B-scan 图像（即通过迁移学习）训练最后一组控制层进行了微调。作者报告的验证准确率为 97%。
最后，值得强调的是 Ye 等人的工作[51]，他们提供了一个全面的超声波波场图像数据集和一些最著名的 DL 模型的基准。虽然这篇论文没有提出新的模型，但这项工作可以指导研究人员和从业人员选择适合自己需要的模型。在不锈钢板未损坏和 17 种不同损坏形式的情况下，使用了一组波束成形-激光发射器-接收器配置的 7000 幅超声波检测图像。特别是对以下模型进行了测试：AlexNet、VGGNet、ResNet-18、Inception-v3、Wide Resnet、DenseNet 和 SE-ResNet-50 [52]。请注意，这些 DL 模型非常适合图像处理，因此可用于基于超声波图像的缺陷检测。读者可参阅参考文献[51]。[51]中对这些网络简洁而清晰的解释。这些模型用于检测缺陷，并根据检测精度、模型复杂度、内存使用量和计算效率对它们进行了比较。最准确的模型是 DenseNet，其次是 SE-ResNet-50，后者的复杂度稍低，但计算效率也很高。
此外，迁移学习在大型图像数据库中对 DL 模型进行预训练，然后在较小的超声波数据库中进行微调方面也被证明是有效的。无论如何，DL 方法的性能已经超过了传统方法，甚至超过了人类操作员，这表明在中期内，重复性无损检测任务的潜在自动化是可行的。
3.3. Defect characterisation
缺陷表征旨在从数据中提取无损检测信息，并预测缺陷的类型和数字特征（如裂纹长度）。已审查的有关缺陷表征的 DL 资料根据其最终目标进行了分类：(1) 对缺陷进行分类或 (2) 对缺陷属性（如裂纹长度）进行量化。
3.3.1. Defect classification
钢板和焊接区域一直是众多 DL 分类器研究的主题，这些分类器能够区分缺陷类型，例如气孔、未熔合、未穿透和裂纹等缺陷。典型的网络架构是 FCNN 和 CNN。Bettayeb 等人[53] 在 2004 年提供了一个早期的缺陷特征描述实例，作者在该实例中开发了一种 FCNN，用于自动对 A-scan 中的缺陷进行分类。所提议的网络将缺陷材料的信号作为输入，并在平面缺陷和体积缺陷之间进行二元分类作为输出。他们的研究证明了分类的高准确率（超过 95% 的识别率）。Sambath 等人[54] 在 2011 年提出了一种 FCNN，用于自动提高焊缝超声波检测和缺陷分类的灵敏度。他们对原始数据进行了小波变换，以提取特征并输入 FCNN，从而将数据分为四类：气孔、未熔合、含钨和无缺陷。FCNN 的训练和验证共使用了 240 个超声波 A 扫描。结果表明，FCNN 的准确率为 94%，优于其他未对原始数据进行信号处理的方法。在参考文献[55]中，作者解决了超声波 A 扫描的准确性问题。[55]中，作者利用对金属样品的超声波检测来解决缺陷的检测和分类问题，其最终目标是自动匹配以前由人工执行的这一操作。在这种方法中，作者提出了一种更深层次的架构，即使用 B 扫描图像驱动的 CNN，然后是预测缺陷类型（如侧钻孔、平底孔等）的全连接层。数据集包含所有缺陷类型的 400 幅模拟 B 扫描图像。所有缺陷类型的准确率都超过了 90%，证明了其潜力。Munir 等人[22,56,57]在三项工作的进展中，解决了焊接缺陷的分类问题，在获得高精度的同时实现了自动化。作者在 2018 年[56]开始使用 FCNN，其中 DL 模型将缺陷信号分类为一组可能的缺陷，如裂纹、气孔或夹渣。后来在 2019 年[57]，作者提出了一个 CNN，随后是全连接层，以及数据增强策略，以提高 DL 模型的能力。最后，在 2020 年[22]，引入了 AE 作为超声波信号去噪的初始步骤，从而提高了 CNN 架构的性能。
不同的材料和结构也是将 DL 方法应用于超声无损检测数据的研究对象。例如，Meng 等人[58] 开发了一个 CNN 网络，用于对碳纤维增强聚合物（CFRP）结构中的 C-san 信号进行超声波信号自动分类。该网络使用原始数据的小波变换作为输入，并在输出中准确地给出两种缺陷类型的分类：空洞或分层。共有 6000 个实验 A 扫描信号被用于训练和验证。论文还证明了这种方法适用于具有多种夹杂物的 CFRP 样品，并能高精度地定位不同的缺陷。Rodrigues 等人[59]研究了利用超声波检测自动化和增强高压钢管渗碳水平估算。该模型由一个 FCNN 组成，它将原始信号的离散傅立叶系数作为输入，并将其精确地分为三个不同的类别：高渗碳、低渗碳或无渗碳。用于训练的实验信号数量为 200 个。
DL 技术主要由卷积层和全连接层组成，已成功地对金属部件中的缺陷进行了分类，特别是在焊缝中遇到的大部分缺陷。然而，DL 在其他更复杂（各向异性）材料（如复合板）中的应用却鲜有涉及。这些结构因不同层及其各向异性造成的多重内部反射而面临巨大挑战。然而，有一些 DL 结构足够复杂，可以从复合结构的超声波测量中提取目标信息。
3.3.2. Defect sizing
另一种缺陷特征描述是通过推断实数来量化缺陷大小，例如通过裂缝长度估算。Pyle 等人 [61] 解决了这一问题，同时也解决了 DL 模型缺乏真实（实验）训练数据的问题。作者使用基于 FE-ray 的混合方法生成合成数据（25625 个模拟超声波图像），以训练裂纹特征（即长度和角度）的 DL 模型。然后将 DL 模型应用于实验数据，对裂纹角度和长度的估计比传统的 6 dB 下降法更精确。这项工作表明，使用基于物理的模型可以提高 DL 模型的性能。Miorelli 等人[62] 提出了一种 CNN，用于根据超声导波自动进行缺陷定位和尺寸测量。输入数据包括来自圆形压电传感器布局的 DAS 图像，模型的输出是铝板中缺陷的 XY 位置和半径的连续值。共使用了 500 幅模拟图像来训练 CNN，同时在模拟和实验图像上进行验证和测试。DL 模型通过建模和实验数据进行了测试，在两种情况下均显示出与真实值的高度相关性。Bai 等人[63]最近对经典贝叶斯反演方法和 CNN 回归模型（即基于 Miorelli [62]所开发模型的 SMInvNet）进行了比较研究。在这里，输入数据包括散射矩阵（通过 FMC 和 TFM 数据测量），而输出则是表面凹槽的尺寸和角度。训练集和测试集的大小分别为 976 个和 180 个模拟样本。在这项研究中，经典贝叶斯方法显示出更高的表征准确性和更小的不确定性，而 SMInvNet 的性能相当，但由于模型的认识不确定性，其分散性更大。值得强调的是，从这项工作中得出的结论是，DL 模型的不确定性解释仍然是一个有待解决的难题。相比之下，贝叶斯方法为未知缺陷参数提供了一个自然而明确的不确定性映射（代价是更昂贵的反问题评估）。
有趣的是，尚未充分利用 DL 对缺陷参数进行回归。这种应用有可能提高无损检测的自动化程度，从而系统地评估小缺陷的严重程度。如前几节所述，当存在缺乏缺陷数据的问题时，迁移学习被证明是至关重要的。Pyle 等人[61]证明，使用建模数据有助于训练 DL 模型，即使这些模型应用于具有高质量建模的实验测量。尽管如此，仍需探索多种领域适应技术（例如，通过在损失函数中使用不同权重混合建模和经验心理数据库），以确保其适用于不同的超声无损检测应用。
3.4. Property measurement
深度学习还被用于材料表征（除缺陷外），其中包括材料属性的直接或间接测量。例如，Park 等人[64,65]研究了增材制造部件中孔隙率水平的推断（通过处理 C 扫描图像获得）。他们设计了几个基于 CNN 和 FCNN 的 DL 模型，并通过输入超声波信号和输出孔隙度等级（通过多个类别）对真实样本进行了测试。超声波数据库的规模在 1000 到 6000 个实验信号之间。在提出的不同架构中，卷积方法被证明是最有效的，不同孔隙度区间的分类误差较小。Ma 等人[66]提出了一种基于 DL 的方法，用于从超声 A 扫描中估计隔热涂层（广泛用于保护飞机发动机的热段部件）的孔隙度。超声波反射系数被用作具有三个隐藏层的 FCNN 的输入，并预测孔隙率特征。我们提出了一个优化程序，以获得估算孔隙率的最佳超声波参数，然后使用高斯过程对每个 A 扫描的实际孔隙率水平进行回归。因此，这里使用 DL 来替代传统的方法，即建立校准曲线，将超声波参数与孔隙度水平联系起来。DL 提供了一种更快、更灵活的方法来适应数据的非线性。结果表明，最优化的超声波参数集可提供最准确的孔隙度估算。L ̈ahivaara等人[67]研究了将CNN应用于超声断层扫描的可行性，以估算水饱和多孔材料的性质。鉴于求解波在耦合多孔弹性-非弹性-声学介质中传播的前向模型需要大量计算，作者提出了一种通过 CNN 材料属性回归器更快地解决逆问题的方法。输入数据采用 B 扫描图像的形式，而输出则由材料的孔隙率和夹杂物的曲折度组成。训练集中的样本总数为 75,000 个，这些样本来自模拟和通过添加不同程度的噪声进行的数据增强。数值结果表明，预测结果与地面实况之间具有极佳的相关性，而 DL 方法的效率高于传统的反演方法（即执行数千次正演模型评估）。
根据超声波数据估算其他材料属性也是研究的主题。例如，文献[68]研究了金属中晶粒尺寸空间分布的估算。[68].作者提出了一种 DL 架构，由一个 CNN 和多个全连接层组成。模型的输入由 B 扫描图像组成，而输出则是材料晶粒的大小（根据晶粒大小给出数据属于三个不同类别的概率）。这项工作中使用的实验超声信号总数为 302 400 个。DL 的最终目标是对难以获得的属性进行估计，这通常依赖于结构噪声分布。Singh 等人[69]提出了两种 DL 架构，用于创建具有晶粒取向信息的超声断层图像。第一个模型由多个 FCNN（每个像素一个）组成，将超声波阵列的 ToF 矩阵作为输入，并将晶粒方位信息作为输出。然后将生成的图像和额外的先验信息输入生成式对抗网络，以提高图像分辨率。共有 7500 和 6000 个模拟数据集分别用于训练 FCNN 和生成式对抗网络。DL 被用作一种工具，可实现高分辨率的快速断层成像，以增强制造过程中的缺陷检测。结果表明，DL 框架能有效地从 ToF 信息中重建断层图像，并得出结论：采用高级损失函数（如 Wasserstein 距离）[70] 仍有提高高分辨率重建精度的空间。Gopalakrishnan 等人[71] 比较了从超声导波数据估算复合材料层压板弹性特性的两种不同 DL 方法。这两种方法包括：(1) 一个 CNN，然后是全连接层；(2) 一个 LSTM 循环网络。用于训练的数据样本总数为 2719 个模拟信号。传统的确定性反演方案计算速度慢，易受噪声影响而产生误差，而且在大规模自动化方面也受到限制。他们的研究结果表明，尽管两种 DL 方法都能准确估计复合材料层压板的弹性特性，但 LSTM 网络在处理噪声数据时表现更好。
最近的一项研究利用物理信息神经网络对多晶镍的微观结构特性进行了量化[72]。现有的方法很少能从位移矢量的全波场数据中推断出微观结构，因此 DL 在这里被用作一种精确高效的反演方法。作者提出了三个网络来推断刚度张量的三个元素（因为多晶镍呈现立方对称性），并使用超声波场数据作为训练数据。因此，当 S. Cantero-Chinchilla et al NDT and E International 131 (2022) 102703 9 获得新的波场数据时，需要训练两个网络：(1) 一个网络用于恢复作为空间坐标和时间函数的波场测量值，(2) 一个网络用于推断材料特性，该材料特性必须与 (1) 预测的波场一起满足基本控制方程。请注意，损失函数中的物理部分是由波场位移的均方误差和相应的波方程（平面内和平面外）组合而成的，而预测的刚度元素和位移必须满足这些方程。结果表明，对刚度元素值的预测具有很高的准确性。这项研究显示了创建基于物理和数据的混合 DL 方法的巨大潜力，这种方法能够以高效的方式处理复杂的问题。同样，在同一作者的前一项研究[73]中，提出了一种物理信息神经网络来描述空间声速分布。因此，通过结合两个分别推断波场位移和速度的网络，这种方法被证明能够通过直观识别波速较小的区域来描述可能存在的缺陷。同样，这项工作将波浪方程的残差作为损失函数的附加项，从而将数据驱动方法与物理学相结合。该模型的训练使用了一个相对较小的数据库，其中包含 30 张快照，空间信息约占 20%。
3.5. Common challenges in the literature
通过对现有工作的回顾，我们可以清楚地看到，无论最终目标如何，在为无损检测开发 DL 模型时，都会持续面临多种共同挑战。其中许多挑战最终都与缺乏训练数据有关。这个问题可以通过不同的技术来解决：(1) 数据扩增；(2) 生成模型；(3) 迁移学习（包括领域适应技术）。数据增强包括通过处理原始数据在训练数据集中创建额外的数据样本[74]。这种操作可能是对原始数据进行简单的旋转、缩放或拉伸，而原始数据大多是图像。一维信号的数据增强也可以通过添加人工音爆作为缺陷反射来实现。领域适应技术可用于改进 DL 模型在不同领域中的性能，使其与最初训练时的性能保持一致[75, 76]。无损检测背景下的主要例子是，利用建模数据设计和训练 DL 模型，然后使用一小部分实验数据进行微调--从而使模型在实验领域更加精确。当模型可用但实验数据有限时，这种技术尤为有用，因为它利用了人们熟知的物理模型的优势。生成模型，如变异自动编码器[77]和生成对抗网络[30]，也可用于生成来自多个类别的数据。最后，迁移学习用于将从源领域提取的 DL 模型的潜在知识应用到目标领域[28]。例如，在各种物体的照片上训练过的图像分割 DL 模型可以作为一个强有力的起点，用来训练一个可以分割有缺陷夹杂物的超声波图像的模型。相关的数据问题有：(1) 获取和开发用于 DL 模型训练的相应标记数据，特别是在像分割这样需要极其详细标记的任务中；(2) 涉及补充性无损检测技术（如 X 射线和计算机断层扫描）的地面真值确认。这些问题可以通过主动学习来解决[78]，即算法从少量数据中学习，并询问用户以标注新数据。
文献中尚未解决的另一个重要挑战是缺乏普遍接受的性能量化方法（如通过检测概率等标准指标）。因此，即使是在相同的应用中，也很难对不同的 DL 作品进行比较。例如，虽然有些作者使用训练过程中的直接误差估算来估算 DL 架构的质量，但其他作者则使用同时表征误差和分散性的分布。DL 方法既可用于调整现有的标准度量，也可用于在没有标准的地方创建新标准。尽管如此，量化性能的统一方法将使 DL 的贡献更有意义，并可能对行业更具吸引力，因为它们可以很容易地进行比较。
同样，在估算输出方差时，也几乎没有涉及不确定性的量化问题。估算来自数据和模型的不确定性的全局方法，对于 DL 方法的实际应用至关重要。这个具有挑战性的问题是目前数字地图界正在研究的一个课题，目前还没有明确的答案。不过，目前有多种技术可以估计不确定性，如蒙特卡洛放弃（Monte Carlo dropout）[79]、深度集合（deep ensembles）和变异推理（variational inference）[80]。这种不确定性量化将为模型在正常运行时的置信度提供答案。当模型工作超出置信区间时，也有可能发出警告，从而使模型更稳健、更安全。