梯度下降是一种迭代式的最优化手段，在机器学习中一般用于求目标函数的极小值点，这个极小值点就是最优的模型内部参数。相比求解析解的手段，GD的通用性更强，所以受到广泛的使用。一元函数的梯度下降法比如求解f(x)=(x-1)2的最小值点梯度下降的公式为，上标表示第i轮的x值初始化点x(0) =4，学习率...

 导数导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。  比如y=x2，在x=1处的导数=2。 导数是通过极限来定义的，某一点的导数=tanψ，但是前提是△x趋近于0，此时tanψ=tanα=该点导数，公式如下：   返回目录 ...

版权声明：本文为博主原创文章，遵循CC4.0by-sa版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_31866177/article/details/88601294从SGD（SGD指mini-batchgradientdescent）和Adam两个方面说...

版权声明：本文为博主原创文章，遵循CC4.0by-sa版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/program_developer/article/details/80737724本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com...

深度学习是一个框架，包含多个重要算法: ConvolutionalNeuralNetworks(CNN)卷积神经网络AutoEncoder自动编码器SparseCoding稀疏编码RestrictedBoltzmannMachine(RBM)限制波尔兹曼机DeepBeliefNetworks(DBN)深信度网...

前面我们学习过深度学习中用于加速网络训练、提升网络泛化能力的两种策略：BatchNormalization（BatchNormalization）和LayerNormalization（LN）。今天讨论另一种与它们类似的策略：WeightNormalization（WeightNormalization）。Weight...

近段时间，由于工作需要，一直在看深度学习的各种框架，主要是Caffe和Tensorflow。并且在可预见的未来，还会看更多不同的深度学习框架。最开始我是以软件工程师的角度去阅读这些框架的，说实话，Caffe的代码框架逻辑清晰相对好理解一点，而TensorFlow就比较麻烦了，里面内容太多，函数调用链非常长，且使用了大量...

要： 1背景   随着移动互联网的崛起，越来越多的用户开始习惯于从手机完成吃、喝、玩、乐、衣、食、住、行等各个方面的需求。打开手机，点开手淘、美团等APP，商品玲玲满目，而让用户将所有商品一页页看完已经不现实，通常情况下用户也就查看前几页，如果找不到满意的商品则退出，从而造成流单...

截至目前，TensorFlow的RNNAPIs还处于Draft阶段。不过据官方解释，RNN的相关API已经出现在Tutorials里了，大幅度的改动应该是不大可能，现在入手TF的RNNAPIs风险应该是不大的。目前TF的RNNAPIs主要集中在tensorflow.models.rnn中的rnn和rnn_cell两个模...

今天看到这篇文章里面提到如何选择模型，觉得非常好，单独写在这里。  更多的机器学习实战可以看这篇文章：http://www.cnblogs.com/charlesblc/p/6159187.html 参考这篇文章：https://www.zhihu.com/question/3055726...

DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看...

DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看...

DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看...

DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看...

DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看...