ResNet（2015）残差神经网络
残差结构
ResNet50具体卷积结构图
ResNeXt（2016）加入了分组卷积的思想，将原ResNet网络中的block替换成由group分组的block，两者得到的feature map一致，只是参数量更少了。
并且当block层数≥3时才有意义。经过验证，group数一般设置为32会取得最好的效果，每组卷积核4d，d表示倍数。
DenseNet（2017） 稠密连接卷积神经网络，所有层之间的连接提高了特征重用，避免了过拟合，加上瓶颈层和压缩层，减小了模型参数。
SE-ResNet(2017) SENet的核心思想是通过自适应地调整通道间的特征重要性来提升网络的表达能力。SE-Block嵌入堆叠在ResNet中形成了SE-ResNet。
SENet的基本结构是在卷积层后添加了一个Squeeze-and-Excitation模块。该模块通过全局平均池化操作来获取通道间的特征关系，然后使用两个全连接层来学习通道的权重。
最后，通过乘法操作将学习到的权重应用于输入特征图，以增强有用的特征并抑制无用的特征。
引入通道注意力机制，可以在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，并提高任务处理的效率和准确性。
Res2Net（2019） 加入了多尺度的思想,将输入的特征图分为几组（一般是4组），每一组滤波器先从一组输入特征图中进行特征提取，
然后与先前组生成的特征图和另一组输入的特征图一起被送到下一组卷积核进行处理。这个过程将一直持续到所有特征图都被处理完毕。
最终，所有特征图将被并联在一起然后通过一个 1×1 的卷积层进行信息融合
ResNeSt（2020） 在ResNeXt的分组卷积思想基础上，再结合SE-Net的通道注意力机制思想，形成了分组通道注意力机制（Split-Attention）
SE-Net的注意力机制：
SE-Net主要关注的是通道注意力机制。它利用Squeeze-and-Excitation（SE）模块来学习每个特征通道的重要性，并为每个通道生成一个权重。
这个权重是通过全局平均池化压缩特征图的空间维度后，经过全连接层学习得到的。
这样，SE-Net就能够根据输入数据的特性自适应地调整不同通道的特征响应，使得网络更加关注那些对任务更有帮助的通道。
ResNest的注意力机制：
ResNest则采用了一种分裂注意力（Split-Attention）机制。它首先将输入特征图分为多个组（或称为分支），每个组经过独立的卷积操作。
然后，通过跨通道的注意力权重将这些组的结果加权求和。这种分裂注意力的设计使得ResNest能够同时关注多个特征通道，并从不同的视角或角度提取信息。
相同点：两者都利用了注意力机制来提高网络对特征图的利用能力，
使网络能够更加关注对任务有贡献的特征。
不同点：SE-Net主要关注通道注意力，通过为每个通道生成权重来重新调整特征图；
而ResNest则采用了分裂注意力的方式，从多个视角提取特征，并通过跨通道的注意力权重进行融合。此外，ResNest的分裂注意力机制更加适合并行计算，可以提高训练效率。