alixali

在神经网络中容易出现梯度爆炸的问题,有的地方说是可以用 relu 激活函数来解决,用起来也确实有效果,有点想不通这里面的原理是什么呢?

  •  
  •   alixali · Oct 23, 2018 · 3552 views
    This topic created in 2816 days ago, the information mentioned may be changed or developed.
    66450146
        1
    66450146  
       Oct 23, 2018   ❤️ 1
    f'(x) = 1 就不会有 vanishing gradient 了😂
    alixali
        2
    alixali  
    OP
       Oct 23, 2018
    这个问题在输入数据维度高的时候,和网络层数多的时候出现了,更像是和网络的节点数有关系。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   937 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 20:51 · PVG 04:51 · LAX 13:51 · JFK 16:51
    ♥ Do have faith in what you're doing.