sigmod交叉熵Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为PS：这个是可以用极大似然估计推导出来的举例：y=0，_y=0.8，那此时的sigmod交叉熵为1.17...

 链式法则类型一： 类型二： 类型三：     返回目录  逻辑回归的正、反向传播逻辑回归可以看做最简单的神经网络，他只有一个神经元，损失函数选择的是对数损失，他的正向传播过程如下图所示：逻辑回归可以看做最简单的神经网络...

 为什么要用激活函数在神经网络中，如果不对上一层结点的输出做非线性转换的话，再深的网络也是线性模型，只能把输入线性组合再输出（如下图），不能学习到复杂的映射关系，因此需要使用激活函数这个非线性函数做转换。 返回目录 sigmodSigmod激活函数和导函数分别为对应的图像分别为： ...

在《深度学习面试题03改进版梯度下降法Adagrad、RMSprop、Momentum、Adam》中讲到了多种改进的梯度下降公式。而这篇文章和03篇描述的不是一个事情，我们从一个例子说起，就知道改良的GD算法和本节介绍的GD算法的不同点了。一元线性回归模型举例：以房屋面积预测房屋价格假设函数可以设置为 返回目...

发展历史 标准梯度下降法的缺陷如果学习率选的不恰当会出现以上情况 因此有一些自动调学习率的方法。一般来说，随着迭代次数的增加，学习率应该越来越小，因为迭代次数增加后，得到的解应该比较靠近最优解，所以要缩小步长η，那么有什么公式吗？比如：，但是这样做后，所有参数更新时仍都采用同一个学习率，即学习率不能...

 梯度下降是一种迭代式的最优化手段，在机器学习中一般用于求目标函数的极小值点，这个极小值点就是最优的模型内部参数。相比求解析解的手段，GD的通用性更强，所以受到广泛的使用。一元函数的梯度下降法比如求解f(x)=(x-1)2的最小值点梯度下降的公式为，上标表示第i轮的x值初始化点x(0) =4，学习率...

 导数导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。  比如y=x2，在x=1处的导数=2。 导数是通过极限来定义的，某一点的导数=tanψ，但是前提是△x趋近于0，此时tanψ=tanα=该点导数，公式如下：   返回目录 ...

http://collabedit.com/6ak5k...

1)leetcode:一般笔试题会从leetcode找2)横空出世，席卷互联网--评微软等公司数据结构+算法面试100题对应已出版书籍《编程之法：面试和算法心得》购买链接：http://item.jd.com/11786791.html3)国外程序员的面试宝典：持续补充...

HTTP状态码总共5中1消息2状态200OK 3重定向301永久跳转4客户端错误403被禁止 404找不到页面5服务器错误500服务器内部错误...

在网上看到一些高级php的面试题目。。最近接连面试了几家公司，有些重要问题记录一下，督促自己学习提高，同时希望给朋友们一些帮助。内容很多，一点点完善，一步步学习。。有些是面试被问，有些是招聘要求，有些是自己整理加的。一、mysql相关知识  1、mysql优化方式   ...

一些被提问频率最高的12个php面试题，以及对应的常规回答。1、问题：请用最简单的语言告诉我php是什么？回答：php全称：hypertextpreprocessor，是一种用来开发动态网站的服务器脚本语言。2、问题：什么是mvc？回答：mvc由model（模型）,view（视图）和controller（控制器）组成，...

1，介绍自己的项目经验。简短的项目背景------------------------自己完成的任务-----------------------------为了完成任务自己做了哪些工作-------------------------自己的贡献。 　　...

1，值传递和参数传递的区别？答：值传递：方法调用时，实际参数把它的值传递给对应的形式参数，方法执行中形式参数值的改变不影响实际参数的值。引用传递：也称为传地址。方法调用时，实际参数的引用（地址，而不是参数的值）被传递给方法中相对应的形式参数，在方法执行中，对形式参数的操作实际上就是对实际参数的操作，方式执行中形式参数值...

有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？ 兔子的规律就像上图所示的，类似还有台阶问题an=an-1+an-2 package面试;/***1123581321*怎么算出当月有多少兔子呢*@authorliug...