循环神经网络背景这里先不介绍了。本文暂时先记录RNN和LSTM的原理。首先RNN。RNN和LSTM都是参数复用的，然后每个时间步展开。RNN的cell比较简单，我们用Xt表示t时刻cell的输入，Ct表示t时刻cell的状态，ht表示t时刻的输出（输出和状态在RNN里是一样的）。那么其前向传播的公式也很简单：$h_t=...

转载自https://www.cnblogs.com/zeze/p/8268388.html ProgressiveNN是第一篇我看到的deepmind做这个问题的。思路就是说我不能忘记第一个任务的网络，同时又能使用第一个任务的网络来做第二个任务。为了不忘记之前的任务，他们的方法简单暴力：对所有的之前任务的网...

Hopfield网络具有最优计算功能，然而网络只能严格按照能量函数递减方式演化，很难避免伪状态的出现，且权值容易陷入局部极小值，无法收敛于全局最优解。如果反馈神经网络的迭代过程不是那么死板，可以在一定程度上暂时接受能量函数变大的结果，就有可能跳出局部极小值。随机神经网络的核心思想就是在网络中加入概率因素，网络并不是确定...

 参考博文：深度学习基础--卷积--1*1的卷积核与全连接的区别：https://blog.csdn.net/wydbyxr/article/details/84061410如何理解卷积神经网络中的1*1卷积：https://blog.csdn.net/chaipp0607/article/details/6...

译自：http://sebastianruder.com/multi-task/1.前言在机器学习中，我们通常关心优化某一特定指标，不管这个指标是一个标准值，还是企业KPI。为了达到这个目标，我们训练单一模型或多个模型集合来完成指定得任务。然后，我们通过精细调参，来改进模型直至性能不再提升。尽管这样做可以针对一个任务得...

这篇文章主要整理三部分内容，一是常见的三种神经网络结构：前馈神经网络、反馈神经网络和图网络；二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理；三是梯度消失和梯度爆炸问题的原因及解决思路。一、神经网络结构目前比较常用的神经网络结构有如下三种：1、前馈神经网络前馈神经网络中，把每个神经元按接收信息的先后分为不同...

一、CPPN二、孪生网络Siamese三、改进的孪生网络四、TripletNetworkCPPN是一种基于遗传算法演化神经网络结构的生成式模型。一个圆的图像可以用函数表示：（x-x0)2+(y-y0)2=1故图像可以表示为函数。而另一方面，神经网络可以逼近任何函数。因此，图像可以表示为神经网络。以上图中，网络输入是像素...

　　　　在前面我们讲述了DNN的模型与前向反向传播算法。而在DNN大类中，卷积神经网络(ConvolutionalNeuralNetworks，以下简称CNN)是最为成功的DNN特例之一。CNN广泛的应用于图像识别，当然现在也应用于NLP等其他领域，本文我们就对CNN的模型结构做一个总结。　　　　在学习CNN前，推荐大...

首先明确一下，本文需要对RNN有一定的了解，而且本文只针对标准的网络结构，旨在彻底搞清楚反向传播和BPTT。 反向传播形象描述什么是反向传播？传播的是什么？传播的是误差，根据误差进行调整。举个例子：你去买苹果，你说，老板，来20块钱苹果（目标，真实值），老板开始往袋子里装苹果，感觉差不多了（预测），放称上一称...

　　上一章介绍了使用逻辑回归处理分类问题。尽管逻辑回归是个非常好用的模型，但是在处理非线性问题时仍然显得力不从心，下图就是一个例子： 　　线性模型已经无法很好地拟合上面的样本，所以选择了更复杂的模型，得到了复杂的分类曲线： 　　然而这个模型存在两个问题：过拟合和模型复杂度。过拟合问题可参考《ML（附...

我们在设计机器学习系统时，特别希望能够建立类似人脑的一种机制。神经网络就是其中一种。但是考虑到实际情况，一般的神经网络（BP网络）不需要设计的那么复杂，不需要包含反馈和递归。人工智能的一大重要应用，是分类问题。本文通过分类的例子，来介绍神经网络。一个最简单的分类，是在平面上画一条直线，左边为类0，右边为类1，直线表示为...

 转载：https://sefiks.com/2018/01/01/facial-expression-recognition-with-keras/基于上次的内容，这节内容主要介绍如何利用摄像头进行实时的人脸表情识别。（1）首先实时的检测出人脸，然后把检测出的人脸截取下来送到模型中去做判别。这里检测人脸用到...

神经网络解决多类分类问题的本质是把原分类问题分解为一类对其他类（one-vs-all）的二类分类问题在二分类中要把标签设置为（0，1），在多分类问题中要把标签设置为ont-hot标签，也就是（0，0，1，0）此类的格式，1表示属于某个类。分类和回归的损失函数：分类二分类采用binary_crossentropy,最后一...

1、结构图 2、知识点生成器(G)：将噪音数据生成一个想要的数据判别器(D)：将生成器的结果进行判别，3、代码及案例#coding:utf-8###对抗生成网络案例#####<imgsrc="jpg/3.png"width="590">#-判别器:火眼金睛，分辨出生成和真实的<br/>...

如果不用激励函数（其实相当于激励函数是f(x)=x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（...