线性回归
简介
利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b
概念
利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式
分类
一元线性回归、多元线性回归
应用场景
线性回归问题的求解
API简单介绍
损失函数
误差概念: 用预测值y – 真实值y就是误差
损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数
损失函数误差最小,也就是损失函数的最优解为求解的回归方程
损失函数的种类:
求解线性回归问题流程:
数据-> 线性回归模型 -> 损失函数 -> 优化方法
正规方程法
这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑
这里补充一个知识 范数
范数:
一元线性回归解析解:
多元线性回归-方程法
梯度下降法
沿着梯度下降的方向求解极小值
梯度:
梯度下降公式:
- α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
- 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号
梯度下降法分类:
随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
…以此类推，直到算法收敛。
正规方程和梯度下降的对比
回归模型评估方法
线性模型评估的三个指标
平均绝对误差 MAE
均方误差 MSE
均方根误差
三种指标对比
