（此文章同时发表在本人微信公众号“dotNET每日精华文章”，欢迎右边二维码来关注。)题记：机器学习无疑是现在一个高大上的热点，而且微软在Azure提供了机器学习的服务。那么如何更快找到正确的机器学习算法呢？微软也给大家提供了建议。随着大数据的深入应用，机器学习也从学术界逐步走入到工业界，现在电子商务、社交、广告、智能...

　　　　在机器学习中的矩阵向量求导(三)矩阵向量求导之微分法中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。　　　　本文我们讨论矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。　　　...

信息熵条件熵相对熵交叉熵总结 熵(entropy)这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵(Shannonentropy)，信息熵(informationentropy)。本文只讨论信息熵。首先，我们先来理解一下信息这个...

1.sgn函数sgn(x)叫做x的符号函数。sgn是sign的缩写。它的定义是sgn(x)=1(x>0);0(x=0);-1(x<0).2.sigmoid函数3. ReLU函数y=max(x,0)这种函数的设计启发来自于生物神经元对于激励的线性响应，以及当低于某个阈值后就不再响应的模拟。...

来源：https://blog.csdn.net/normol/article/details/89886067这算是解开自己的疑惑，因为网上说法不一。自己去总结了一下，回过头来看其实别人说的也没错。因为这些概念在时间起源上的顺序不一定就是它们演化后的逻辑关系。。因此为了说明白，将从时间上和逻辑关系上分别说明。（注：自...

2017年02月10日以前：P92017年02月19日前：P51    模型评估与选择（第二章内容）    模型评估：训练及测试、构造测试集的方法    性能度量：错误率、查准率和查全率（PR曲线）、...

1.你在研究/项目/实习经历中主要用过哪些机器学习/数据挖掘的算法？答：推荐中用过CF,LR 分类中用过SVM,GBDT； 一般用法是什么，是不是自己实现的，有什么比较知名的实现，使用过程中踩过哪些坑；优缺点分析。2.你熟悉的机器学习/数据挖掘算法主要有哪些？基础算法要多说，其它算法要挑熟悉程度高的...

各位工程师累了吗?推荐一篇可以让你技术能力达到出神入化的网站["宅男门诊"](https://zhainanmenzhen.com/)1、使用机器学习来解决问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题；2、通过最小化误差、最大似然、最大后验概率等等建立模型的代价函数，转化为最...

http://news.cnblogs.com/n/528978/...

主要内容：回归1.线性回归2.Logistic回归最优问题：1.梯度下降2.牛顿法3.拟牛顿法了解参数学习算法和非参数学习算法的区别高斯分布（正态分布） 1.2.线性回归考虑2个变量多变量的情形3.最小二乘的目标函数m为样本个数，则一个比较“符合常理”的误差函数为：符合常理n最小二乘建立的目标函数，即是在噪声...

20.共轭函数 21.凸优化优化问题的基本形式告诉几个等式约束求最值  局部最优问题22.非凸优化问题的变形23.对偶问题24.Lagrange对偶函数(dualfunction)Lagrange对偶函数若没有下确界，定义:根据定义，显然有：对∀λ>0，∀v，若原优化问题有最优值p*...

2015-09-09今天买的凸优化刚到。从今天开始学习一些基础的概念。不知道2年的时间能不能学会并且解决实际的问题。 线性函数需要严格满足等式，而凸函数仅仅需要在a和b取特定值得情况下满足不等式。因此线性规划问题也是凸优化问题，可以将凸优化看成是线性规划的扩展。 1.放射集定义：过集合C内任意两点的...

  问题来源与七月学习之（3.x线性代数与矩阵运算基础）...

http://ask.julyedu.com/article/32...

1、k-近邻法简介 k近邻法(k-nearestneighbor,k-NN)是1967年由CoverT和HartP提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将...