internalcovariateshift(ics):训练深度神经网络是复杂的，因为在训练过程中，每层的输入分布会随着之前层的参数变化而发生变化。所以训练需要更小的学习速度和careful参数初始化，这将减缓训练的速度。bn的目的就是解决ics我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什...

      用神经网络来降维、之前降维用的方法是主成分分析法PCA，找到数据集中最大方差方向。（附：降维有助于分类、可视化、交流和高维信号的存储）这篇paper提出了一种非线性的PCA 的推广，通过一个小的中间层来重构高维输入向量，训练一个多层神经网...

　　2006年，机器学习泰斗、多伦多大学计算机系教授GeofferyHinton在Science发表文章，提出基于深度信念网络（DeepBeliefNetworks,DBN）可使用非监督的逐层贪心训练算法，为训练深度神经网络带来了希望。如果说Hinton2006年发表在《Science》杂志上的论文[1]只是在学术界掀...