在PyTorch中，backward() 函数是自动微分系统的核心，用于计算梯度。当你在神经网络中进行前向传播（forward pass），即计算预测输出时，backward() 函数允许你进行反向传播（backward pass），即计算损失函数相对于模型参数的梯度。以下是backward()函数的一些关键作用：
-
计算梯度：
backward()函数计算损失函数相对于模型参数的梯度。这些梯度是优化算法（如SGD、Adam等）更新模型参数的基础。 -
自动微分：PyTorch利用动态计算图（dynamic computation graph）来实现自动微分。在前向传播过程中，PyTorch记录下操作序列，
backward()函数则利用这些信息来计算梯度。 -
链式法则：
backward()函数自动应用链式法则来计算梯度。这意味着它能够处理复杂的网络结构，自动计算每个参数对最终损失的贡献。
简单来说就是通过backward反向传播方便，可以自动计算梯度，微分，链式法则等运算
梯度：
梯度的正负值决定了参数更新的方向。梯度是损失函数相对于模型参数的导数，它指示了损失函数在参数空间中增加最快的方向。为了减少损失函数的值，我们需要沿着梯度的反方向更新参数，即：
- 如果梯度是正的，减少参数值可以减少损失。
- 如果梯度是负的，增加参数值可以减少损失。
优化器：
优化器通常会采取以下步骤来更新参数：
- 计算梯度（即损失函数相对于参数的导数）。
- 将梯度乘以一个负的学习率（因为我们要向减少损失的方向移动）。
- SGD更新参数值：参数 = 参数 - 学习率 * 梯度。（不同的优化器更新参数值的公式不一样）
实例：
import torch
import torch.nn as nn# 定义一个简单的线性模型
model = nn.Linear(2, 1)# 定义损失函数
criterion = nn.MSELoss()# 创建输入数据和目标数据
inputs = torch.randn(10, 2, requires_grad=False)
targets = torch.randn(10, 1)# 定义优化器
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)# 打印模型的初始参数
print("Model parameters before training:")
for name, param in model.named_parameters():print(f"{name}: {param.data}")# 循环三个epoch
for epoch in range(3):# 将模型设置为训练模式model.train()# 前向传播outputs = model(inputs)loss = criterion(outputs, targets)# 打印当前epoch的lossprint(f"\nEpoch {epoch + 1}, Loss: {loss.item()}")# 反向传播optimizer.zero_grad() # 清除之前的梯度loss.backward()# 参数更新optimizer.step()# 打印模型参数和梯度print("Model parameters and gradients after epoch {}:".format(epoch + 1))for name, param in model.named_parameters():print(f"{name}: {param.data}, requires_grad: {param.requires_grad}")if param.grad is not None:print(f"{name} gradient: {param.grad}")
输出：
SGD更新参数值：参数 = 参数 - 学习率 * 梯度。
- 如果梯度是正的，减少参数值
- 如果梯度是负的，增加参数值
以epoch 1为例
输入：[ 0.6781, -0.3983]#权重 [-0.5326]#偏置
梯度：[ 2.0771, 0.1543] #权重 [-2.6452]#偏置
输出：[ 0.4704, -0.4138]#权重 [-0.2681]#偏置
Model parameters before training:
weight: tensor([[ 0.6781, -0.3983]])#权重
bias: tensor([-0.5326]) #偏置Epoch 1, Loss: 3.6159560680389404
Model parameters and gradients after epoch 1:
weight: tensor([[ 0.4704, -0.4138]]), requires_grad: True
weight gradient: tensor([[2.0771, 0.1543]])#梯度
bias: tensor([-0.2681]), requires_grad: True
bias gradient: tensor([-2.6452])#梯度Epoch 2, Loss: 2.6041829586029053
Model parameters and gradients after epoch 2:
weight: tensor([[ 0.3043, -0.4126]]), requires_grad: True
weight gradient: tensor([[ 1.6608, -0.0116]])
bias: tensor([-0.0620]), requires_grad: True
bias gradient: tensor([-2.0611])Epoch 3, Loss: 1.9772014617919922
Model parameters and gradients after epoch 3:
weight: tensor([[ 0.1707, -0.4001]]), requires_grad: True
weight gradient: tensor([[ 1.3362, -0.1248]])
bias: tensor([0.0987]), requires_grad: True
bias gradient: tensor([-1.6069])