神经网络的训练算法，目前基本上是以Backpropagation(BP)反向传播为主（加上一些变化），NN的训练是在1986年被提出，但实际上，BP已经在不同领域中被重复发明了数十次了（参见Griewank(2010)[1]）。更加一般性且与应用场景独立的名称叫做：反向微分(reverse-modedifferenti...

　　基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数f(x1,x2,...)在g(x1,x2,...)=C的约束条件下的极值的方法。其主要思想是引入一个新的参数λ（即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。拉格朗日乘...

　　实际应用中，总是会出现一堆复杂的函数，这类函数往往令物理学家和数学家都十分头疼。为了解决这一窘境，泰勒想：会不会存在一种方法，把一切函数表达式都转化为多项式函数来近似呢？这样，处理问题不就变得简单了吗？经过泰勒夜以继日的奋斗，终于研究出了泰勒级数的理论。它将一切函数，不论表达式有多么多么的复杂，只有能保证n阶导数存...

　　直角坐标是常用的坐标法，但是对于一些特别的问题，在直角坐标系下处理就显得有点笨拙了。这个时候，不妨试试极坐标。它可以使得问题变得出乎意料的简洁，也能让问题直观和清晰起来。　　关于极坐标的相关问题可参考《数学笔记27——极坐标下的面积》　　在上一篇文章的“积分边界”一节...

注释：转载请注明出处http://www.cnblogs.com/HuisClos/articles/6966036.html  在我们所讨论的三度空间（三维）中，能够出现的微分形式只有四种：零次微分形式——函数f 一次微分形式——线积分中出...