51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#Xavier
梯度消失 / 梯度爆炸以及Xavier初始化
2018-12-0616:25:08首先我们先来看一下求解梯度的公式,以下面三层的网络为例:如果w初始化为大于1的数字,在深层神经网络计算梯度的时候就会出现梯度爆炸的现象;如果w初始化为小于1的数字,在深层神经网络计算梯度的时候就会出现梯度消失的现象;那么该如何初始化权重值呢?z=w1*x1+w2*x2+...+wn*...
代码星球
·
2020-06-13
梯度
消失
爆炸
以及
Xavier
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他