#Xavier

梯度消失 / 梯度爆炸以及Xavier初始化

2018-12-0616:25:08首先我们先来看一下求解梯度的公式,以下面三层的网络为例:如果w初始化为大于1的数字,在深层神经网络计算梯度的时候就会出现梯度爆炸的现象;如果w初始化为小于1的数字,在深层神经网络计算梯度的时候就会出现梯度消失的现象;那么该如何初始化权重值呢?z=w1*x1+w2*x2+...+wn*...