系列文章目录
【西瓜书】神经网络-MP神经元、感知机和多层网络https://blog.csdn.net/jiangshuiy/article/details/144070587
目录
系列文章目录
误差逆传播算法(BP算法、反向传播算法)
累积误差逆传播算法
BP训练
最小值与极小值
误差逆传播算法(BP算法、反向传播算法)
- 误差逆传播(error BackPropagation,简称BP)算法,也叫反向传播算法,是解决多层网络的杰出代表。
- 值得指出的是,BP算法不仅可用于多层前馈神经网络,还可以用于其他类型的神经网络。
- 约定记号:
- 神经网络的输出:
- 均方误差为:
- BP算法是一个迭代学习算法。在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计,任意参数v的更新估计算式为:
- BP算法基于梯度下降(gradient descent)策略,以目标的负梯度方向对参数进行调整。对误差E_k,给定学习率η,有
- 根据“链式法则”,有
- 根据定义(见图):
- Sigmoid函数的性质:
- 因此:
- 可得:
- 类似可得:
- 其中,
- 学习率 η∈(0, 1) 控制着算法每一轮迭代中的更新步长,若太大则容易震荡,太小则收敛速度又会过慢。
- BP算法的目标是要最小化训练集D上的累计误差:
- “标准BP算法”每次仅针对一个训练样例更新连接权和阈值。
累积误差逆传播算法
- 如果推导出基于累积误差最小化的更新规则,就是累积误差逆传播(accumulated error backpropagation)算法。两种算法都很常用。
BP训练
- 读取训练集一遍,称为进行了“一轮”(one round,也叫 one epoch)学习。
- 标准BP算法和累积BP算法的区别类似于随机梯度下降与标准梯度下降之间的区别。
- 如何设置隐藏神经元的个数,是个未决问题。实际应用中通常用“试错法”(trial-by-error)调整。
- 由于其强大的表示能力,BP神经网络经常遭遇过拟合,其训练误差持续降低,但测试误差却可能上升。有两种策略常用来缓解BP网络的过拟合:
- 第1种:“早停”(early stop),将数据分成训练集和验证集,训练集用来计算梯度、更新连接权和阈值,验证集用来估计误差,若训练集误差降低但验证集误差升高,则停止训练,同时返回具有最小验证集误差的连接权和阈值。
- 第2种:“正则化”(regularization),基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分。例如连接权与阈值的平方和。增加连接权与阈值平方和这一项后,训练过程将会偏好比较小的连接权和阈值,使网络输出更加“光滑”,从而对过拟合有所缓解。
- 神经网络的训练过程可看作一个参数寻优过程,即在参数空间中寻找一组最优参数,使得E最小。
最小值与极小值
- 两种最优:“局部极小”(local minimum)和“全局最小”(global minimum)。直观的看,
- 局部极小点,是参数空间中的某个点,其邻域点的误差函数值均不小于该点的函数值;
- 全局最小解,则是指参数空间中所有点的误差函数值均不小于该点的误差函数值。
- 全局最小一定是局部极小,反之则不成立。
- 在参数寻优过程中,希望找到全局最小。
- 基于梯度的搜索是使用最为广泛的参数寻优方法。
- 从某些初始解出发,迭代寻找最优参数值。
- 每次迭代中,先计算误差函数在当前的梯度,然后根据梯度确定搜索方向。例如由于负梯度方向是函数值下降最快的方向,因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点的梯度为0,则已达到局部极小,更新量降为0,这意味着参数的迭代更新将因此停止。
- 如果有多个极小值,就称参数寻优陷入局部极小。
- 现实任务中常使用以下策略来跳出局部极小:
- 以多种不同参数值初始化多个神经网络,按标准方法训练后,取其中误差最小的解作为最终参数。这相当于从多个不同的初始点开始搜索。
- 使用“模拟退火”(simulated annealing)技术。模拟退火在每一步都有一定概率接受比当前解更差的结果,从而有助于“跳出”局部极小。但是也会造成跳出全局最小。
- 使用梯随机梯度下降(stochastic gradient descent,简称SGD),随机梯度下降法在计算梯度时加入了随机因素,因此即便陷入局部极小点,计算出来的梯度仍然可能不为零,这就有机会跳出。
- 遗传算法(genetic algorithms)也常用来训练神经网络,以更好的逼近全局最小。
- 上述跳出局部极小的技术大多是启发式,理论上常缺乏保障。