账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    既然加入激活函数是为了加入非线性因素,那么为什么可以使用ReLu呢?
    92
    0

    1、max(0,x)的话在大于0的区间就是线性的,这样还能起到加入非线性元素的作用吗?
    2、leaky ReLU作为ReLU的进阶版为什么并没有比ReLu常用呢?

    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • ♀蓠吥岂忧殇 普通会员 1楼

      ReLU(Rectified Linear Unit)是一种常用的激活函数,其优点是可以有效地解决梯度消失和梯度爆炸问题。

      梯度消失是指在神经网络中,如果网络中的每一层都采用激活函数,那么在反向传播过程中,每一层都会不断计算梯度,这会大大增加计算量。而梯度爆炸则是在神经网络中,如果网络中的每一层都采用激活函数,那么在反向传播过程中,每一层都会不断计算梯度,导致梯度的更新非常快,可能会导致模型的训练变得非常快,但最终的性能可能并不理想。

      ReLU能够有效解决这些问题,主要是因为它满足以下两个条件:

      1. 当输入为0时,ReLU的输出也为0,也就是说,ReLU不改变输入的导数为0的情况。这对于神经网络中出现的梯度消失和梯度爆炸问题是非常有用的。

      2. 当输入大于0时,ReLU的输出也为正数,也就是说,ReLU可以有效地阻止输入的负数部分被乘以梯度,从而避免了梯度爆炸的问题。

      因此,ReLU可以有效地解决梯度消失和梯度爆炸问题,从而提高神经网络的训练效果。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部