deepseek.com:多元线性回归的目标函数，损失函数，梯度下降 标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，预测结果的可视化展示， 模型应用场景和优缺点，及如何改进解决及改进方法数据推导。
一、数学推导
1. 模型定义
- 输入：
- 样本数 n n n，特征数 m m m。
- 特征矩阵 X ∈ R n × ( m + 1 ) X \in \mathbb{R}^{n \times (m+1)} X∈Rn×(m+1)（含截距项全1列）。
- 参数向量 β = [ β 0 , β 1 , … , β m ] T ∈ R ( m + 1 ) × 1 \beta = [\beta_0, \beta_1, \dots, \beta_m]^T \in \mathbb{R}^{(m+1) \times 1} β=[β0,β1,…,βm]T∈R(m+1)×1。
- 预测值：
y ^ = X β 或标量形式 y ^ i = β 0 + ∑ j = 1 m β j x i j \hat{y} = X \beta \quad \text{或标量形式} \quad \hat{y}_i = \beta_0 + \sum_{j=1}^m \beta_j x_{ij} y^=Xβ或标量形式y^i=β0+j=1∑mβjxij
2. 目标函数与损失函数
- 目标：最小化预测值与真实值的平方误差。
- 损失函数（MSE）：
L ( β ) = 1 2 n ∑ i = 1 n ( y ^ i − y i ) 2 = 1 2 n ∥ X β − y ∥ 2 2 L(\beta) = \frac{1}{2n} \sum_{i=1}^n (\hat{y}_i - y_i)^2 = \frac{1}{2n} \| X \beta - y \|_2^2 L(β)=2n1i=1∑n(y^i−yi)2=2n1∥Xβ−y∥22- 系数 1 2 n \frac{1}{2n} 2n1：简化梯度计算，避免平方项导数的系数干扰。
3. 梯度下降推导
标量形式
对每个参数 β j \beta_j βj 求偏导：
- 截距项 β 0 \beta_0 β0：
∂ L ∂ β 0 = 1 n ∑ i = 1 n ( y ^ i − y i ) \frac{\partial L}{\partial \beta_0} = \frac{1}{n} \sum_{i=1}^n (\hat{y}_i - y_i) ∂β0∂L=n1i=1∑n(y^i−yi) - 特征权重 β j \beta_j βj（ j ≥ 1 j \geq 1 j≥1)：
∂ L ∂ β j = 1 n ∑ i = 1 n ( y ^ i − y i ) x i j \frac{\partial L}{\partial \beta_j} = \frac{1}{n} \sum_{i=1}^n (\hat{y}_i - y_i) x_{ij} ∂βj∂L=n1i=1∑n(y^i−yi)xij
矩阵形式
利用矩阵微分法则：
∇ β L = 1 n X T ( X β − y ) \nabla_\beta L = \frac{1}{n} X^T (X \beta - y) ∇βL=n1XT(Xβ−y)
- 推导过程：
L ( β ) = 1 2 n ( X β − y ) T ( X β − y ) ⟹ ∂ L ∂ β = 1 n X T ( X β − y ) L(\beta) = \frac{1}{2n} (X \beta - y)^T (X \beta - y) \implies \frac{\partial L}{\partial \beta} = \frac{1}{n} X^T (X \beta - y) L(β)=2n1(Xβ−y)T(Xβ−y)⟹∂β∂L=n1XT(Xβ−y)
梯度下降更新公式
β ( t + 1 ) = β ( t ) − η ∇ β L = β ( t ) − η n X T ( X β ( t ) − y ) \beta^{(t+1)} = \beta^{(t)} - \eta \nabla_\beta L = \beta^{(t)} - \frac{\eta}{n} X^T (X \beta^{(t)} - y) β(t+1)=β(t)−η∇βL=β(t)−nηXT(Xβ(t)−y)
- 学习率 η \eta η：控制参数更新步长。
二、应用场景
- 连续值预测：
- 房价预测、销售额预测、股票价格趋势分析。
- 因果关系分析：
- 研究广告投入与销量的量化关系。
- 基线模型：
- 作为复杂模型（如神经网络）的性能对比基准。
三、优缺点及解决方法
优点
- 简单高效：计算复杂度低（( O(nm) ) 每轮梯度下降）。
- 可解释性强：参数直接反映特征对目标的影响程度。
- 闭式解存在：当 X T X X^T X XTX可逆时，可直接求解 β = ( X T X ) − 1 X T y \beta = (X^T X)^{-1} X^T y β=(XTX)−1XTy。
缺点及解决方法
| 缺点 | 解决方法 |
|---|---|
| 线性假设限制 | 引入多项式特征或使用非线性模型（如决策树、神经网络）。 |
| 多重共线性 | 正则化（岭回归、Lasso）、主成分分析（PCA）降维。 |
| 对异常值敏感 | 使用鲁棒损失函数（Huber损失）、数据清洗或加权最小二乘法。 |
| 异方差性（方差不均） | 加权回归、Box-Cox变换稳定方差。 |
| 特征维度高时不稳定 | 正则化、逐步回归、特征选择（如基于p值或AIC准则）。 |
改进方法与数学推导
1. 正则化（Ridge 回归）
目标函数：
L = 1 2 m ∥ X w − y ∥ 2 + λ ∥ w ∥ 2 L = \frac{1}{2m} \|Xw - y\|^2 + \lambda \|w\|^2 L=2m1∥Xw−y∥2+λ∥w∥2
梯度更新：
∇ w L = 1 m X T ( X w − y ) + 2 λ m w \nabla_w L = \frac{1}{m} X^T (Xw - y) + \frac{2\lambda}{m} w ∇wL=m1XT(Xw−y)+m2λw
PyTorch 实现：
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, weight_decay=1.0) # weight_decay 对应 λ
2. 数据预处理
- 标准化：使特征均值为 0，方差为 1，加速收敛。
- 异常值处理：使用 IQR 或 Z-Score 过滤离群点。
3. 特征工程
- 多项式扩展：将 x 1 , x 2 x_1, x_2 x1,x2 扩展为 x 1 2 , x 2 2 , x 1 x 2 x_1^2, x_2^2, x_1x_2 x12,x22,x1x2 等，再用线性回归。
数学形式：
y ^ = w 1 x 1 + w 2 x 2 + w 3 x 1 2 + w 4 x 2 2 + w 5 x 1 x 2 + b \hat{y} = w_1 x_1 + w_2 x_2 + w_3 x_1^2 + w_4 x_2^2 + w_5 x_1x_2 + b y^=w1x1+w2x2+w3x12+w4x22+w5x1x2+b
四、关键公式总结
| 内容 | 标量形式 | 矩阵形式 |
|---|---|---|
| 预测值 | y ^ i = β 0 + β 1 x i 1 + ⋯ + β m x i m \hat{y}_i = \beta_0 + \beta_1 x_{i1} + \dots + \beta_m x_{im} y^i=β0+β1xi1+⋯+βmxim | y ^ = X β \hat{y} = X \beta y^=Xβ |
| 损失函数 | L = 1 2 n ∑ i = 1 n ( y ^ i − y i ) 2 L = \frac{1}{2n} \sum_{i=1}^n (\hat{y}_i - y_i)^2 L=2n1∑i=1n(y^i−yi)2 | L = 1 2 n ∥ X β − y ∥ 2 2 L = \frac{1}{2n} \| X \beta - y \|_2^2 L=2n1∥Xβ−y∥22 |
| 梯度 | ∂ L ∂ β j = 1 n ∑ i = 1 n ( y ^ i − y i ) x i j \frac{\partial L}{\partial \beta_j} = \frac{1}{n} \sum_{i=1}^n (\hat{y}_i - y_i) x_{ij} ∂βj∂L=n1∑i=1n(y^i−yi)xij | ∇ β L = 1 n X T ( X β − y ) \nabla_\beta L = \frac{1}{n} X^T (X \beta - y) ∇βL=n1XT(Xβ−y) |
五、实际应用示例
- 房价预测：
- 特征：房屋面积、卧室数量、地理位置。
- 输出：房价。
- 方法：通过梯度下降拟合参数，预测新样本价格。
- 广告效果分析：
- 特征：电视、网络、报纸广告投入。
- 输出：销售额增长。
- 结论：参数正负性指示广告渠道的有效性。
六、扩展：正则化改进
- 岭回归（L2正则化）：
L ( β ) = 1 2 n ∥ X β − y ∥ 2 2 + λ ∥ β ∥ 2 2 L(\beta) = \frac{1}{2n} \| X \beta - y \|_2^2 + \lambda \| \beta \|_2^2 L(β)=2n1∥Xβ−y∥22+λ∥β∥22- 解决多重共线性，防止过拟合。
- Lasso（L1正则化）：
L ( β ) = 1 2 n ∥ X β − y ∥ 2 2 + λ ∥ β ∥ 1 L(\beta) = \frac{1}{2n} \| X \beta - y \|_2^2 + \lambda \| \beta \|_1 L(β)=2n1∥Xβ−y∥22+λ∥β∥1- 自动特征选择，稀疏解。
完整代码示例
import torch
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt# 生成随机数据
n_samples = 100
n_features = 2
X = torch.randn(n_samples, n_features)
true_w = torch.tensor([[3.0], [4.0]])
true_b = torch.tensor([2.0])
y = X @ true_w + true_b + torch.randn(n_samples, 1) * 0.1# 定义模型
class LinearRegression(nn.Module):def __init__(self, input_dim, output_dim):super(LinearRegression, self).__init__()self.linear = nn.Linear(input_dim, output_dim)def forward(self, x):return self.linear(x)model = LinearRegression(n_features, 1)# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)# 训练模型
n_epochs = 1000
losses = [] # 初始化一个空列表来存储损失值for epoch in range(n_epochs):# 前向传播y_pred = model(X)# 计算损失loss = criterion(y_pred, y)losses.append(loss.item()) # 将损失值添加到列表中# 反向传播和优化optimizer.zero_grad()loss.backward()optimizer.step()if (epoch+1) % 100 == 0:print(f'Epoch [{epoch+1}/{n_epochs}], Loss: {loss.item():.4f}')# 可视化损失函数
plt.plot(losses) # 绘制损失函数随训练轮数的变化
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss')
plt.savefig("lr.png")
plt.show()七、总结
多元线性回归是机器学习的基石模型，优势在于简单性和可解释性，但受限于线性假设。实际应用中需结合数据预处理、正则化或非线性扩展方法以提升性能。矩阵形式计算高效，适合编程实现；标量形式便于理解梯度下降的微观机制。