llgd.net
当前位置:首页 >> 卷积神经网络解决了Bp算法的梯度弥散问题了么 >>

卷积神经网络解决了Bp算法的梯度弥散问题了么

从理论上说,并没有。 梯度弥散的问题很大程度上是来源于激活函数的“饱和”。因为在后向传播的过程中仍然需要计算激活函数的导数,所以一旦卷积核的输出落入函数的饱和区,它的梯度将变得非常校但是Hinton教授提出的在CNN中使用ReLu作为激活函数...

网站首页 | 网站地图
All rights reserved Powered by www.llgd.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com