原文地址：https://www.cnblogs.com/charlotte77/p/5629865.html最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但...

神经网络的训练算法，目前基本上是以Backpropagation(BP)反向传播为主（加上一些变化），NN的训练是在1986年被提出，但实际上，BP已经在不同领域中被重复发明了数十次了（参见Griewank(2010)[1]）。更加一般性且与应用场景独立的名称叫做：反向微分(reverse-modedifferenti...