经典骨干网络结构梳理（包括优缺点、适用场景）

一、前言

在设计或修改网络时，往往要借鉴以往的经典网络结构，现把近几年经典的网络结构从优点、缺点和适用场景方面总结一下。

二、 各个网络介绍

以下是对 LeNet 和 AlexNet 的优缺点及适用场景的分析：

1. LeNet(1998)

优点：

• 结构简单：LeNet 是经典的卷积神经网络之一，结构简单明了，易于理解和实现。
• 计算量小：由于网络较浅，计算量小，适合在硬件资源有限的情况下使用。

缺点：

• 表现能力有限：LeNet 由于层数较少，特征表达能力有限，难以处理复杂的视觉任务。
• 不适合大规模数据集：LeNet 的设计主要针对小规模数据集（如 MNIST），对大规模数据集或复杂任务的适应性较差。

适用场景：

• 适用于简单的图像分类任务，如手写数字识别等，在教育和研究中常用作入门示例。

2. AlexNet(2012)

优点：

• 引领深度学习潮流：AlexNet 是首个在大型视觉数据集（如 ImageNet）上取得显著成功的深度卷积神经网络，开创了现代深度学习的先河。
• 强大的特征提取能力：相比于 LeNet，AlexNet 增加了网络深度和宽度，提升了特征提取能力。

缺点：

• 模型较大：相对于 LeNet，AlexNet 的参数量和计算量都较大，训练和推理需要更强的计算资源。
• 过拟合风险：由于参数量大，在训练数据不足的情况下，模型容易过拟合。

适用场景：

• 适用于大规模图像分类任务，特别是在早期深度学习研究和发展中有重要作用。如今，它仍然可以用于较为简单的图像分类任务或作为学习深度学习的基础模型。

3. VGG(2014)

优点：

• 结构简单：VGG 网络使用连续的卷积层和池化层，层次清晰，易于理解和实现。
• 特征泛化能力强：VGG 的深层网络（如 VGG-16、VGG-19）可以提取多层次的特征，适用于多种视觉任务。

缺点：

• 参数量大：VGG 网络参数非常多，导致模型计算复杂度高，内存消耗大。
• 训练慢：由于参数量庞大，训练时间较长。

适用场景：

• 适合需要高质量特征提取的任务，如图像分类和迁移学习。

4. GoogLeNet (Inception)(2014-2016)

优点：

• 计算效率高：通过 Inception 模块，网络可以选择性地进行不同尺寸的卷积操作，减少计算量。
• 参数量相对较少：相比 VGG 等网络，GoogLeNet 的参数量大幅减少。

缺点：

• 结构复杂：Inception 模块的结构较为复杂，设计和调优难度较大。
• 对硬件要求高：由于涉及到多分支计算，硬件对并行计算的支持要求较高。

适用场景：

• 适合资源有限的设备上进行图像分类或其他视觉任务。

5. ResNet(2015)

优点：

• 解决梯度消失问题：通过残差连接 (skip connections)，ResNet 能够训练非常深的网络。
• 表现优秀：在多个视觉任务中，ResNet 都展示了卓越的性能。

缺点：

• 增加了计算量：尽管残差连接提高了训练效果，但也增加了网络的计算量。
• 不适合极端深度的网络：在极端深的网络中（如 ResNet-1000+），残差连接可能会导致过拟合。

适用场景：

• 适合需要训练非常深的网络，尤其是在图像分类和目标检测等任务中表现出色。

6. DenseNet(2018)

参考：DenseNet网络结构

优点：

• 特征复用：每一层都连接到之前所有层，特征复用充分，信息流动更好。
• 减少参数量：尽管有大量的连接，但因为层间的特征是共享的，整体参数量相对较少。

缺点：

• 计算复杂度高：由于层间的全连接，计算复杂度和内存占用较高。
• 网络结构复杂：设计和调试网络较为复杂。

适用场景：

• 适用于需要高效特征传递和梯度流动的深度学习任务，如图像分类和语义分割。

7. CBNet

优点：

• 多个 Backbone 结合：通过将多个 Backbone 结合，能提升模型的表征能力和检测精度。
• 灵活性高：可组合不同的 Backbone 网络以适应各种任务需求。

缺点：

• 模型复杂度高：结合多个 Backbone 会显著增加模型复杂度，计算量和内存占用都较高。
• 训练时间长：由于模型更为复杂，训练时间可能显著增加。

适用场景：

• 适用于需要高精度的视觉任务，如目标检测和实例分割。

8. CSPNet (Cross Stage Partial Network)

优点：

• 减少计算量：通过跨阶段部分连接 (Cross Stage Partial Connections)，在减少计算量的同时保留网络的表示能力。
• 轻量化：相较于其他网络，CSPNet 具有较好的轻量化效果，适合资源受限的环境。

缺点：

• 结构设计较为复杂：需要合理设计跨阶段连接以平衡计算量和表示能力。

适用场景：

• 适合边缘计算设备或需要高效运行的应用，如实时图像处理和轻量级目标检测。

9. EfficientNet

优点：

• 高效：通过复合缩放策略，EfficientNet 在参数量和 FLOPs 方面具有较高的效率。
• 优越的性能：在多个基准测试中，EfficientNet 以较小的模型尺寸获得了较好的性能。

缺点：

• 适应性相对较差：EfficientNet 的设计主要针对标准图像分类任务，扩展到其他任务（如检测、分割）时可能需要额外的调整。
• 对计算资源有一定需求：尽管模型高效，但需要合适的硬件支持以发挥最大性能。

适用场景：

• 适用于在计算资源受限情况下，要求高性能的任务，如图像分类和迁移学习。

10. RepVGG

优点：

• 推理速度快：RepVGG 通过将复杂结构转换为简单的卷积操作，使推理速度非常快。
• 实现简单：网络结构简单，容易实现。

缺点：

• 训练和推理分离：需要在训练阶段采用复杂结构，推理阶段转换为简单结构，增加了设计和实现的复杂性。
• 灵活性差：主要优化了推理速度，适用于特定场景，不太适合灵活的模型设计。

适用场景：

• 适合推理速度要求高的应用场景，如边缘设备和实时处理。

11. ConvNeXt

参考：ConvNeXt网络详解

优点：

• 结合 ConvNet 和 Transformer 优点：在保持卷积网络的高效性和可解释性的同时，引入了 Transformer 的长距离依赖建模能力。
• 高性能：在多个任务中展示了良好的性能，尤其是在大型数据集上。

缺点：

• 结构复杂：相较于传统卷积网络，设计和调试难度较大。
• 计算需求高：引入了更多的计算层次和操作，对硬件资源要求较高。

适用场景：

• 适合需要高精度的视觉任务，如图像分类、目标检测和语义分割。

12. RDNet (Residual Dense Network)

优点：

• 特征复用与残差连接结合：RDNet 结合了 DenseNet 的特征复用和 ResNet 的残差连接，增强了梯度流动和特征表达能力。
• 性能卓越：在超分辨率和图像恢复等任务中表现出色。

缺点：

• 计算量大：由于同时采用 DenseNet 和 ResNet 的特点，计算量和内存占用较高。
• 实现复杂：网络结构复杂，设计和调试难度较大。

适用场景：

• 适合需要精细特征提取的任务，如图像超分辨率、图像恢复和增强。

以上。供朋友们参考~

$${\sim }_{Onepersongofaster,agroupofpeoplecangofurther}\sim$$