您的位置:首页 > 财经 > 产业 > 图片设计软件免费版_长沙房价走势最新消息_免费学生网页制作成品_网络销售员每天做什么

图片设计软件免费版_长沙房价走势最新消息_免费学生网页制作成品_网络销售员每天做什么

2024/12/22 12:58:41 来源:https://blog.csdn.net/yn3535_/article/details/143642330  浏览:    关键词:图片设计软件免费版_长沙房价走势最新消息_免费学生网页制作成品_网络销售员每天做什么
图片设计软件免费版_长沙房价走势最新消息_免费学生网页制作成品_网络销售员每天做什么

如果我们使用神经网络中每个神经元的线性激活函数,回想一下这个需求预测示例,如果对所有节点使用线性激活函数,在这个神经网络中,事实证明,这个大神经网络将变得与线性回归没有什么不同,所以这将挫败使用神经网络的全部目的,只是无法拟合比线性回归模型更复杂的东西。

用一个更简单的例子来说明这一点,看一个神经网络的例子,其中输入x只是一个数字,有一个隐藏单位,参数w和b,输出一个,这里只是一个数字a[1],然后第二层是输出层,它也只有一个输出单元,参数为w2 b2,输出一个a2,也就是一个数字,只是一个标量,它是神经网络f(x)的输出,如果用线性激活函数,g(z)=z,将x=a1计算,神经网络将使用a1=g(w)*x+b1,具体替换如下图所示,所以w只是一个线性函数而不是使用一个隐藏层和一个输出层的神经网络,还不如用线性回归模型,如果熟悉线性代数,线性函数的线性函数本身就是线性函数,这就是为什么在神经网络中有多层,不会让神经网络计算更复杂的特征或者学习比线性函数更复杂的东西。

所以在一般情况下,如果你有一个像这样的多层神经网络,假设你对所有隐藏层使用线性激活函数,并对输出层使用线性激活函数,这个模型将计算出完全等价于线性回归的输出,输出a4可以表示为输入特征的线性函数,如果仍然对所有隐藏层使用线性激活函数,这里的这三个隐藏层,但我们要对输出层使用逻辑激活函数,然后证明这个模型等价于Logistic回归,所以这个大神经网络什么也不做,不能用逻辑回归,这就是为什么一个常见的经验法则是不要在神经网络的隐藏层中使用线性激活函数,事实上,使用relu激活函数应该很好。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com