为您找到搜索结果：4687个
深度学习基础（CNN详解以及训练过程1）
深度学习是一个框架，包含多个重要算法: ConvolutionalNeuralNetworks(CNN)卷积神经网络AutoEncoder自动编码器SparseCoding稀疏编码RestrictedBoltzmannMachine(RBM)限制波尔兹曼机DeepBeliefNetworks(DBN)深信度网络RecurrentneuralNetwork(RNN)多层反馈循环神经网络神经网络对于不同问题(图像，语音，文本)，需要选用不同网络模型比如CNNRESNET等才能达到更好效果。今天来讲最基础的CNN网络。可以不可以模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类呢？答案是肯定的，这也是许多深度学习算法（包括CNN）的灵感来源。卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法，成功将数据量庞大的图像识别问题不断降维，最终使其能够被训练。CNN最早由YannLeCun提出并应用在手写字体识别上（MINST）。LeCun提出的网络...
<深度学习优化策略-3> 深度学习网络加速器Weight Normalization_WN
前面我们学习过深度学习中用于加速网络训练、提升网络泛化能力的两种策略：BatchNormalization（BatchNormalization）和LayerNormalization（LN）。今天讨论另一种与它们类似的策略：WeightNormalization（WeightNormalization）。WeightNormalization是BatchNormalization的一种变体，与BatchNormalization最大不同点：对神经网络的权值向量W进行参数重写Reparameterization。Reparameterization：机器学习/深度学习中常用的一种优化策略，Kingma在提出变分自动编码器（VariationalAuto-Encoding，VAE）时，用于神经网络中采样的node进行梯度反向传播的一种方法。简单一句话概括一下Reparameterization：用一个简单的参数为Theta分布来逼近一个稍复杂的分布，通过重写目标函数Objective的期望，使目标函数变得更加容易计算的一种方法，下一期将深入介绍。1、WeightNormalization...
深度学习小记
近段时间，由于工作需要，一直在看深度学习的各种框架，主要是Caffe和Tensorflow。并且在可预见的未来，还会看更多不同的深度学习框架。最开始我是以软件工程师的角度去阅读这些框架的，说实话，Caffe的代码框架逻辑清晰相对好理解一点，而TensorFlow就比较麻烦了，里面内容太多，函数调用链非常长，且使用了大量的C++11语法，这对于C++功底不好的我来说无疑是重大打击...因此，我必须跳出软件工程师的思维，以算法工程师的视角来审视这些框架。考虑到它们都是为深度学习服务的，因此我转而去思考深度学习的本质，希冀能够触类旁通。鉴于深度学习与神经网络的关系类似于漂移与汽车的关系。深度学习可以理解成用(深度)神经网络来进行机器学习，漂移可以理解成用汽车来做一些风骚的走位操作。因此，我的思考重点又聚焦到神经网络身上。网上对神经网络的解释非常多，但一般都是直接扔给你一大堆陌生的名称以及一堆看起来就很烦的公式，配合上他们说教的语气，给人的感觉就是：你看，神经网络就这么简单，你现在一脸懵逼觉得复杂是因为你没我厉害，跟着我学几年也许你就会了。不可否认，这些专有名词和公式非常重要，但是我们也必须知...
机器学习如何选择模型 & 机器学习与数据挖掘区别 & 深度学习科普
今天看到这篇文章里面提到如何选择模型，觉得非常好，单独写在这里。 更多的机器学习实战可以看这篇文章：http://www.cnblogs.com/charlesblc/p/6159187.html 参考这篇文章：https://www.zhihu.com/question/30557267数据挖掘：也就是datamining，是一个很宽泛的概念。字面意思就是从成吨的数据里面挖掘有用的信息。这个工作BI（商业智能）可以做，数据分析可以做，甚至市场运营也可以做。你用excel分析分析数据，发现了一些有用的信息，然后这些信息可以指导你的business，恭喜你，你已经会数据挖掘了。机器学习：machinelearning，是计算机科学和统计学的交叉学科，基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。之所以经常和数据挖掘合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的，例如广告的ctr预估，PB级别的点击日志在通过典型的机器学习流程可以得到一个预估模型，从而提高互联网广告的点击率和回报率；个性化推荐，还是通过机器...
Deep Learning（深度学习）学习笔记整理系列之（八）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特征表示的粒度...
Deep Learning（深度学习）学习笔记整理系列之（七）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特...
Deep Learning（深度学习）学习笔记整理系列之（六）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特...
Deep Learning（深度学习）学习笔记整理系列之（五）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特...
Deep Learning（深度学习）学习笔记整理系列之（三）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特...
Deep Learning（深度学习）学习笔记整理系列之（二）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.02013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特...
Deep Learning（深度学习）学习笔记整理系列之（一）（转）
DeepLearning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者：Zouxyversion1.0 2013-04-08 声明：1）该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特...
Deep Learning（深度学习）学习笔记整理(二）
本文整理了网上几位大牛的博客，详细地讲解了CNN的基础结构与核心思想，欢迎交流。 [1]Deeplearning简介[2]DeepLearning训练过程[3]DeepLearning模型之：CNN卷积神经网络推导和实现[4]DeepLearning模型之：CNN的反向求导及练习[5]DeepLearning模型之：CNN卷积神经网络（一）深度解析CNN[6]DeepLearning模型之：CNN卷积神经网络（二）文字识别系统LeNet-5[7]DeepLearning模型之：CNN卷积神经网络（三）CNN常见问题总结 1. 概述 卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物 神经网络，降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量。 回想一下BP神经网络...
Deep Learning（深度学习）学习笔记整理
申明：本文非笔者原创，原文转载自：http://www.sigvc.org/bbs/thread-2187-1-3.html 4.2、初级（浅层）特征表示 既然像素级的特征表示方法没有作用，那怎样的表示才有用呢？ 1995年前后，BrunoOlshausen和DavidField两位学者任职CornellUniversity，他们试图同时用生理学和计算机的手段，双管齐下，研究视觉问题。 他们收集了很多黑白风景照片，从这些照片中，提取出400个小碎片，每个照片碎片的尺寸均为16x16像素，不妨把这400个碎片标记为S,i=0,..399。接下来，再从这些黑白风景照片中，随机提取另一个碎片，尺寸也是16x16像素，不妨把这个碎片标记为T。 他们提出的问题是，...
Deep Learning.ai学习笔记_第一门课_神经网络和深度学习
/目录前言第一周（深度学习引言）第二周（神经网络的编程基础）第三周（浅层神经网络）第四周（深层神经网络） 目标：掌握神经网络的基本概念，学习如何建立神经网络（包含一个深度神经网络），以及如何在数据上面训练他们，最后将用一个深度神经网络进行辨认猫。（1）了解深度学习的概念（2）了解神经网络的结构，使用算法并高效地实现（3）结合神经网络的算法实现框架，编写实现一个隐藏层神经网络（4）建立一个深层的神经网络（一般把层数大于等于3的神经网络称为深层神经网络） DeepLearning: 改变（应用）：网络搜索和广告推荐 很好的示例：读取X光图像、精准化农业、自动驾驶等 突破：计算机视觉（图像识别），语音识别（机器翻译） 观点：认为AI是最新的电力，大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的转变。 什么是神经网络？我的初步理解：给定原始输入数据，按照特定的计算规则...
TensorFlow实战Google深度学习框架1-4章学习笔记
/目录第1章深度学习简介第2章TensorFlow环境搭建第3章TensorFlow入门第4章深层神经网络 对于许多机器学习问题来说，特征提取不是一件简单的事情。在一些复杂问题上，要通过人工的方式设计有效的特征集合，需要很多的时间和精力，有时甚至需要整个领域数十年的研究投入。 深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征。并使用这些组合特征解决问题。深度学习是机器学习的一个分支，它除了可以学习特征和任务之间的关联，还能自动从简单特征中提取更加复杂的特征。 深度学习在很多领域都有非常出色的表现，例如在计算机视觉、语音识别、自然语言处理和人机博弈等。 TensorFlow主要依赖两个工具包——ProtocolBuffer和Bazel。 ProtocolBuffer是谷歌开发的处理结构化数据的工具，和XML或者JSON格式的数据有较大的区别。首先ProtocolBuffer序列化之后得到的数据不是可读的字符串，而是二进制流。其次，XML或JSON格式的数据信息都包含在了序...