首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  机器学习

在神经网络中容易出现梯度爆炸的问题,有的地方说是可以用 relu 激活函数来解决,用起来也确实有效果,有点想不通这里面的原理是什么呢?

  •  
  •   alixali · 2018-10-23 16:15:06 +08:00 · 658 次点击
    这是一个创建于 412 天前的主题,其中的信息可能已经有所发展或是发生改变。
        1
    66450146   2018-10-23 18:04:49 +08:00   ♥ 1
    f'(x) = 1 就不会有 vanishing gradient 了😂
        2
    alixali   2018-10-23 22:29:54 +08:00
    这个问题在输入数据维度高的时候,和网络层数多的时候出现了,更像是和网络的节点数有关系。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2737 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 30ms · UTC 12:42 · PVG 20:42 · LAX 04:42 · JFK 07:42
    ♥ Do have faith in what you're doing.