数据增广：
数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力，目前数据增广主要包括：水平/垂直翻转，旋转，缩放，裁剪，剪切，平移，对比度，色彩抖动，噪声等
Adam、AdamW
Adam和AdamW都是优化算法,用于训练神经网络模型，它们的主要区别在于权重衰减(weight decay)的处理方式。
梯度的改变
Adam=x*old+(1-x)*now
x是代表一个系数，old是以前的梯度，now是现在得梯度
因此当前点的梯度综合以前的梯度和现在的梯度得来的
学习率的改变
Adam会根据梯度的改变而改变学习率，当梯度变大时，学习率会变得很小；当梯度变小时，学习率会变大。
总结：相对于sgd,很难出现梯度爆炸和模型坍塌的状况 （sgd:随机梯度下降)
AdamW就是在Adam的基础上加上了权重衰减W，可以让曲线更加的平滑
迁移学习
迁移学习是一种机器学习方法，指的是将在一个任务中学习到的知识或模型应用到另一个相关但不同的任务中。这种方法特别有用当目标领域的数据量不足以训练一个有效的模型时。通过利用源领域（source domain）的数据和知识，可以提高在目标领域（target domain）中的学习效率和预测性能。
迁移学习的核心思想是，不同领域之间往往存在一定的共性或相似性，这些共性可以被用来辅助学习过程。例如，在图像识别任务中，一个在大型数据集上预训练的模型可能已经学会了识别基本的形状、边缘等特征，这些特征对于其他类型的图像识别任务同样是有用的。因此，可以通过微调（fine-tuning）这个预训练模型来快速适应新的任务，而不需要从头开始训练一个新的模型。
线性探测（Linear Probing）
线性探测是一种特殊的迁移学习方法，它的核心思想是：
冻结特征提取部分：保留预训练模型的特征提取层（如卷积层），不更新这些层的权重。
仅训练分类头：只训练模型的最后一层（分类层），以适应新的任务。
为什么使用线性探测？
线性探测的主要目的是快速评估预训练模型的特征提取能力。通过只训练分类层，你可以快速了解预训练模型的特征是否适用于你的任务，而不需要重新训练整个模型
微调（Fine-tuning）
微调是迁移学习中的一个重要步骤，它的目标是让预训练模型更好地适应新任务。具体来说，微调包括以下几个关键点：
保留预训练模型的前面几层：
预训练模型已经在大规模数据集（如ImageNet）上训练过，前面的层（如卷积层）已经学习到了丰富的通用特征（如边缘、纹理等）。
这些通用特征对于新任务也是有用的，因此我们保留这些层，不从头开始训练。
替换或调整最后几层：
预训练模型的最后一层通常是分类层，其输出类别数与训练数据集的类别数相匹配（如1000类）。
对于新任务，类别数可能不同（如11类），因此我们需要替换或调整最后几层，以适应新任务的类别数。
在新任务数据集上继续训练：
使用新任务的数据集对模型进行继续训练，让模型学习到与新任务相关的特定特征。
这个过程称为微调，因为它是在预训练模型的基础上进行的，而不是从头开始训练。
冻结部分层：
在微调过程中，可以冻结预训练模型的前面几层，只训练最后几层。
这样可以避免破坏前面层学到的通用特征，同时让模型专注于学习新任务的特定特征。