为您找到搜索结果：4687个
[置顶] 文章索引::”机器学习方法“，"深度学习方法"，“三十分钟理解”原创系列
转载请注明，本文出自Bin的专栏http://blog.csdn.net/xbinworld，谢谢！————————————————————————————————————————————目前我已经整理了的系列原创文章（利用工作之余的时间写的，比较慢，请见谅），未完待续。声明：本博客所有内容都为工作业余时间的学习笔记，且都为公开资料或书本知识，与具体工作内容无关。机器学习方法：回归（一）：线性回归linearregression机器学习方法：回归（二）：回归、稀疏与正则约束ridgeregression，Lasso机器学习方法：回归（三）：最小角回归LeastAngleRegression，forwardstagewiseselection机器学习方法（四）：决策树decisiontree原理与实现trick机器学习方法（五）：逻辑回归LogisticRegression，SoftmaxRegression机器学习方法（六）：随机森林RandomForest，bagging机器学习方法（七）：Kmeans聚类K值如何选，以及数据重抽样方法Bootstrapping机器学习方法(八)：随...
深度学习方法（六）：神经网络weight参数怎么初始化
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。神经网络，或者深度学习算法的参数初始化是一个很重要的方面，传统的初始化方法从高斯分布中随机初始化参数。甚至直接全初始化为1或者0。这样的方法暴力直接，但是往往效果一般。本篇文章的叙述来源于一个国外的讨论帖子[1]，下面就自己的理解阐述一下。首先我们来思考一下，为什么在神经网络算法（为了简化问题，我们以最基本的DNN来思考）中，参数的选择很重要呢？以sigmoid函数（logisticneurons）为例，当x的绝对值变大时，函数值越来越平滑，趋于饱和，这个时候函数的倒数趋于0，例如，在x=2时，函数的导数约为1/10，而在x=10时，函数的导数已经变成约为1/22000，也就是说，激活函数的输入是10的时候比2的时候神经网络的学习速率要慢2200倍！为了让神经网络学习得快一些，我们希望激活函数sigmoid的导数较大。从数值上，大约让sigmoid的输入在[-4,4]之间即可，见上图。当然，也不一定要那么精确。我们知道，一个神经...
深度学习方法（五）：卷积神经网络CNN经典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“DeepLearning（深度学习）学习笔记整理系列”中关于CNN的介绍[1]，是介绍我们常说的Lenet为例，相信会对初学者有帮助。Lenet，1986年Alexnet，2012年GoogleNet，2014年VGG，2014年DeepResidualLearning，2015年就从Lenet说起，可以看下caffe中lenet的配置文件（点我），可以试着理解每一层的大小，和各种参数。由两个卷积层，两个池化层，以及两个全连接层组成。卷积都是5*5的模板，stride=1，池化都是MAX。下图是一个类似的结构，可以帮助理解层次结构（和caffe不完全一致，不过基本上差不多）2012年，Imagenet比赛冠军的model——Alexnet[2]（以...
深度学习方法：受限玻尔兹曼机RBM（四）对比散度contrastive divergence，CD
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入上篇讲到，如果用GibbsSampling方法来训练rbm会非常慢，本篇中介绍一下对比散度contrastivedivergence，CD算法。我们希望得到P(v)分布下的样本，而我们有训练样本，可以认为训练样本就是服从P(v)的。因此，就不需要从随机的状态开始gibbs采样，而从训练样本开始。CD算法大概思路是这样的，从样本集任意一个样本v0开始，经过k次Gibbs采样（实际中k=1往往就足够了），即每一步是：ht−1∼P(h|vt−1)vt∼P(v|ht−1)得到样本vk，然后对应于上一篇三个单样本的梯度，用vk去近似：∂lnP(v)∂wij≈P(hi=1|v0)v0j−P(hi=1|vk)vkj∂lnP(v)∂ai≈=v0i−vki∂lnP(v)∂bi≈P(hi=1|v0)−P(hi=1|vk)上述近似的含义是说，用一个采样出来的样本来近似期望的计算。到这里，我们就可以计算LS的梯度了，上面的CD-k算法是用于在一次梯...
深度学习方法：受限玻尔兹曼机RBM（三）模型求解，Gibbs sampling
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。接下来重点讲一下RBM模型求解方法，其实用的依然是梯度优化方法，但是求解需要用到随机采样的方法，常见的有：GibbsSampling和对比散度(contrastivedivergence,CD[8])算法。假设给定的训练集合是S={vi}，总数是ns，其中每个样本表示为vi=(vi1,vi2,…,vinv)，且都是独立同分布i.i.d的。RBM采用最大似然估计，即最大化lnLS=ln∏i=1nsP(vi)=∑i=1nslnP(vi)参数表示为θ=(W,a,b)，因此统一的参数更新表达式为：θ=θ+η∂lnLS∂θ其中，η表示学习速率。因此，很明显，只要我们可以求解出参数的梯度，我们就可以求解RMB模型了。我们先考虑任意单个训练样本（v0）的情况，即LS=lnP(v0)=ln(1Z∑he−E(v0,h))=ln∑he−E(v0,h)−ln∑v,he−E(v,h)其中v表示任意的训练样本，而v0则表示一个特定的样本。∂LS∂θ...
深度学习开源工具——caffe介绍
本页是转载caffe的一个介绍，之前的页面图都down了，更新一下。目录对机器学习、深度学习的一些介绍，包括若干深度学习的经典模型；Caffe的优势（模块化、速度、社区支持等）、基本结构（网络定义、层定义、Blob等）和用法（模型中损失函数、优化方法、共享权重等的配置、应用举例、参数调优的技巧），以及未来方向（CPU/GPU并行化、Pythonification、FullyConvolutionalNetworks等）。以下是报告中的截图配上自己的一点笔记，一手资料请参见上面给出的会后分享链接。提问语音回答中，Evan提到UCB的一个团队正在开发Scala接口，不过尚属实验性质；Caffe团队在考虑和UCB的AMP团队合作，扩展到Spark这一计算平台上；除了已支持的CPU/GPU计算，也考虑扩展支持OpenCl；对于Theano、Torch，鼓励大家尝试、比较……文字问答如下，由YangqingJia回复。Q:Isthepre-trainedmodelavaialbefordownloadtoaccelerateourworkonotherkindsofimages?A: ...
深度学习方法：受限玻尔兹曼机RBM（二）网络模型
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入上解上一篇RBM（一）基本概念，本篇记叙一下RBM的模型结构，以及RBM的目标函数（能量函数），通过这篇就可以了解RBM到底是要求解什么问题。在下一篇（三）中将具体描述RBM的训练/求解方法，包括Gibbssampling和对比散度DC方法。因为RBM隐层和可见层是全连接的，为了描述清楚与容易理解，把每一层的神经元展平即可，见下图[7]，本文后面所有的推导都采用下图中的标记来表示。再重提一下，经典的RBM模型中的神经元都是binary的，也就是说上面图中的神经元取值都是{0,1}的。实际上RBM也可以做实数性的model，不过这一块可以先放一放，先来看binary的基本model。RBM是一个能量模型（Energybasedmodel,EBM），是从物理学能量模型中演变而来；能量模型需要做的事情就是先定义一个合适的能量函数，然后基于这个能量函数得到变量的概率分布，最后基于概率分布去求解一个目标函数（如最大似然）。RBM的过程...
深度学习方法：受限玻尔兹曼机RBM（一）基本概念
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。最近在复习经典机器学习算法的同时，也仔细看了一些深度学习的典型算法。深度学习是机器学习的“新浪潮”，它的成功主要得益于深度“神经网络模型”的优异效果。这个小系列打算深入浅出地记录一下深度学习中常用的一些算法。第一篇先写一下“受限玻尔兹曼机”RBM，会分若干个小段写，这是第一段，关于RBM的基本概念。本文很多推导是参考了资料[7]，感谢分享，不过我会重新手写一遍。网上有很多关于RBM的介绍，但是很多写的比较简略，跳过了很多细节，本文尽量追求扣一下细节的同时，做到深入浅出。推荐的参考资料可以看最后的参考文献。要学习RBM需要的一些基本的统计学习基础，包括贝叶斯定理，随机采样方法（Gibbssampling）等。这些可以翻阅我之前写的一些博文可以看到相关的介绍，在本文中就不具体展开了。总体来说RBM还是相对比较独立的一个算法，不需要依赖太多的先验知识。受限玻尔兹曼机（RestrictedBoltzmannMachine，RBM）...
python之感知器-从零开始学深度学习
未来将是人工智能和大数据的时代，是各行各业使用人工智能在云上处理大数据的时代，深度学习将是新时代的一大利器，在此我将从零开始记录深度学习的学习历程。我希望在学习过程中做到以下几点：了解各种神经网络设计原理。掌握各种深度学习算法的python编程实现。运用深度学习解决实际问题。让我们开始踏上深度度学习的征程。想要了解“神经网络”，我们需要了解一种叫做“感知器”的⼈⼯神经元。感知器在20世纪五、六⼗年代由科学家FrankRosenblatt发明,⼀个感知器接受⼏个输⼊，并产⽣⼀个输出。下图是一个感知器:⽰例中的感知器有三个输⼊x1、x2、x3（1*w0作为偏置，后面会讲到）。通常可以有更多或更少输⼊。Rosenblatt提议⼀个简单的规则来计算输出。他引⼊权重w1、w2、w3..表⽰相应输⼊对于输出重要性的实数（权重）。神经元的输出为0或者1，则由计算权重后的总和∑jwjxj∑jwjxj⼩于或者⼤于⼀些阈值决定。和权重⼀样，阈值是⼀个实数，⼀个神经元的参数。⽤更精确的代数形式：这就是⼀个感知器所要做的所有事情！而我们把阖值移动...
开源项目（1）https://www.cnblogs.com/kekeoutlook/p/10005315.html使用OpenCV进行人脸检测和深度学习
https://www.pyimagesearch.com/2018/02/26/face-detection-with-opencv-and-deep-learning/...
深度学习-theano-windows -cuda-环境搭建
本文将具体介绍深度学习之cuda的环境搭建步骤：这个不具体介绍，网上有很多文章。注意选择你相应的系统（我的是windows8.164位版，Desktop是台式机，Notebook是笔记本。事实上选错了你也安装不上）下载cuda6.5官方网址https://developer.nvidia.com/cuda-toolkit-65cuda6.5是傻瓜安装，最好不要改动它的默认文件路径。完毕后打开命令提示符输入nvcc-V然后回车，如图。在WindowsVista,Windows7,Windows8,WindowsServer2003,andWindowsServer2008平台上:能够打开下列.exe文件查看是否安装完毕。C:ProgramDataNVIDIACorporationCUDASamplesv6.5inwin64Release假设CUDA安装正确。则全部案例都是可以执行的完毕安装后重新启动一下电脑我选的版本号是1.8，由于最新的版本号没有MinGW目录Anaconda百度云链接：http://pan.baidu.com/s/1qWN06qKpassword：44st或者去官方...