深度学习 回归问题

1. 梯度下降算法

深度学习中, 梯度下降算法是是一种很重要的算法.

梯度下降算法与求极值的方法非常类似, 其核心思想是求解 $x^{\prime }$, 使得 $x^{\prime }$ 在取 $x^{\star }$ 时, 可以使得 $loss函数$ 的值最小.

其中, 在求解 $x^{\prime }$ 的过程中, 采用的是迭代的方法, 不断迭代逼近 $ x^{\star}$. 最基本的公式为:
$$x^{\prime }=x-lr\times ▽x$$

其中 $▽x$为 $los{s}^{\prime }{|}_x$ , $lr$ 为学习率, 以上述公式为基础，发展出了更多的求解器.

2. 噪声

在现实世界中, 数据总是会存在误差.
$$y=w\ast x+b+ϵϵ\sim N(0.01,1)$$

$$loss=(WX+b-y{)}^2$$

3. 回归与分类

3.1 线性回归

预测范围为实数区间.

3.2 逻辑回归

加了压缩函数后, 压缩了预测范围[0, 1].

3.3 分类

如手写数字识别.

4. 优化

$y=wx+b+ϵ$中, 通过已有的 $x_i$ $y_i$求解 $w$ $ϵ$, 可以优化为以下问题:

5. 回归问题实践

5.1 计算给定点的误差

代码如下所示:

def compute_error_for_line_given_points(b, w, points):totalError = 0for i in range(0, len(points)):x = points[i, 0]  # 获取当前点的x坐标y = points[i, 1]  # 获取当前点的y坐标# 计算预测值与实际值之间的差的平方，并累加到总误差中totalError += (y - (w * x + b)) ** 2# 返回平均误差return totalError / float(len(points))

5.2 计算梯度下降的梯度, 更新b和w

代码如下所示:

def step_gradient(b_current, w_current, points, learningRate):b_gradient = 0w_gradient = 0N = float(len(points))  # 点的总数for i in range(0, len(points)):x = points[i, 0]y = points[i, 1]# 计算b和w的梯度# 梯度计算b_gradient += -(2 / N) * (y - (w_current * x + b_current))w_gradient += -(2 / N) * x * (y - (w_current * x + b_current))# 使用学习率更新b和wnew_b = b_current - (learningRate * b_gradient)new_w = w_current - (learningRate * w_gradient)return [new_b, new_w]

5.3 执行梯度下降算法, 迭代b和w

代码如下所示:

def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations):b = starting_bm = starting_m  # 通常w用于表示斜率，但这里用m，可能是为了与初始变量名保持一致for i in range(num_iterations):b, m = step_gradient(b, m, np.array(points), learning_rate)return [b, m]

5.4 完整代码

import torch  # 导入torch库，但在此代码中未直接使用
import numpy as np  # 导入numpy库，用于处理数值数据# 计算给定直线（由参数b和w定义）对于一组点的误差
def compute_error_for_line_given_points(b, w, points):totalError = 0for i in range(0, len(points)):x = points[i, 0]  # 获取当前点的x坐标y = points[i, 1]  # 获取当前点的y坐标# 计算预测值与实际值之间的差的平方，并累加到总误差中totalError += (y - (w * x + b)) ** 2# 返回平均误差return totalError / float(len(points))# 计算梯度下降中的梯度，并更新直线参数b和w
def step_gradient(b_current, w_current, points, learningRate):b_gradient = 0w_gradient = 0N = float(len(points))  # 点的总数for i in range(0, len(points)):x = points[i, 0]y = points[i, 1]# 计算b和w的梯度# 梯度计算b_gradient += -(2 / N) * (y - (w_current * x + b_current))w_gradient += -(2 / N) * x * (y - (w_current * x + b_current))# 使用学习率更新b和wnew_b = b_current - (learningRate * b_gradient)new_w = w_current - (learningRate * w_gradient)return [new_b, new_w]# 执行梯度下降算法以优化直线参数
def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations):b = starting_bm = starting_m  # 通常w用于表示斜率，但这里用m，可能是为了与初始变量名保持一致for i in range(num_iterations):b, m = step_gradient(b, m, np.array(points), learning_rate)return [b, m]# 主函数，用于运行梯度下降算法
def run():points = np.genfromtxt("data.csv", delimiter=",")  # 从CSV文件加载数据点learning_rate = 0.0001  # 设置学习率initial_b = 0  # 初始截距initial_m = 0  # 初始斜率（这里用m代替w）num_iterations = 1000  # 设置迭代次数# 在开始梯度下降之前，计算并打印初始误差print("Starting gradient descent at b = {0}, w = {1}, error = {2}".format(initial_b, initial_m,compute_error_for_line_given_points(initial_b, initial_m, points)))print("Running...")# 执行梯度下降[b, m] = gradient_descent_runner(points, initial_b, initial_m, learning_rate, num_iterations)# 打印梯度下降后的结果和最终误差print("After {0} iterations b = {1}, w ={2}, error = {3}".format(num_iterations, b, m,compute_error_for_line_given_points(b, m, points)))if __name__ == '__main__':run()  # 调用主函数