您的位置:首页 > 娱乐 > 明星 > 深度学习100问34:什么是梯度爆炸

深度学习100问34:什么是梯度爆炸

2024/10/6 2:22:15 来源:https://blog.csdn.net/yyq916/article/details/141717454  浏览:    关键词:深度学习100问34:什么是梯度爆炸

嘿,咱来聊聊梯度爆炸是啥。想象一下又有一群小伙伴站成一排玩传话游戏。不过这次可不是信息变弱啦,而是每传一次话,信息就被疯狂夸大。就好像第一个小伙伴说“今天天气不错”,传到第二个小伙伴那儿就变成了“今天天气超级无敌棒”,再传到第三个小伙伴那儿可能就成了“今天天气宇宙无敌超级棒到爆”。等传到最后一个小伙伴的时候,信息已经变得完全不可理解,完全失控了。
 
在神经网络里呢,梯度爆炸就跟这个传话游戏有点类似。在反向传播的时候,因为某些原因,那个代表误差信息的梯度变得超级大。这就会让网络的权重更新得特别夸张,就像一个调皮的孩子完全不受控制。这样一来,网络就没办法稳定地学习了,甚至可能让模型的参数变得超级大,大到超出正常范围,最后导致训练失败。

 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com