线性回归的定义是：目标值预期是输入变量的线性组合。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。优点：结果易于理解，计算不复杂缺点：对非线性的数据拟合不好适用数据类型：数值型和标称型对...

决策树是一种基本的分类方法，当然也可以用于回归。我们一般只讨论用于分类的决策树。决策树模型呈树形结构。在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合。在决策树的结构中，每一个实例都被一条路径或者一条规则所覆盖。通常决策树学习包括三个步骤：特征选择、决策树的生成和决策树的修剪优点：计...

逻辑回归（LogisticRegression），简称LR。它的特点是能够是我们的特征输入集合转化为0和1这两类的概率。一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用逻辑回归。了解过线性回归之后再来看逻辑回归可以更好的理解。优点：计算代价不高，易于理解和实现缺点：...

  本案例使用最著名的”鸢尾“数据集，该数据集曾经被Fisher用在经典论文中，目前作为教科书般的数据样本预存在Scikit-learn的工具包中。读入Iris数据集细节资料fromsklearn.datasetsimportload_iris#使用加载器读取数据并且存入变量irisiris=loa...

k-近邻算法采用测量不同特征值之间的距离来进行分类优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、空间复杂度高使用数据范围：数值型和标称型电影可以按照题材分类，每个题材又是如何定义的呢？那么假如两种类型的电影，动作片和爱情片。动作片有哪些公共的特征？那么爱情片又存在哪些明显的差别呢？我们发现动作片中打斗...

我们举一个可能不太恰当的例子：如果将最终写好运行的程序比作战场，我们码农便是指挥作战的将军，而我们所写的代码便是士兵和武器。那么数据结构和算法是什么？答曰：兵法！我们可以不看兵法在战场上肉搏，如此，可能会胜利，可能会失败。即使胜利，可能也会付出巨大的代价。我们写程序亦然：没有看过数据结构和算法，有时面对问题可能会没有任...

优化算法入门系列文章目录（更新中）：　　1. 模拟退火算法　　2. 遗传算法 一.爬山算法(HillClimbing)        介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次...

优化算法入门系列文章目录（更新中）：　　1.模拟退火算法　　2.遗传算法 　　遗传算法(GA,GeneticAlgorithm)，也称进化算法。遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。  　　作为遗传算...

   一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单“听取多人意见，最后综合决策”，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，邹博在我组织的机器学习班第8次课上讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲...

欧几里德算法欧几里德算法又称辗转相除法，用于计算两个整数a,b的最大公约数。基本算法：设a=qb+r，其中a，b，q，r都是整数，则gcd(a,b)=gcd(b,r)，即gcd(a,b)=gcd(b,a%b)。第一种证明：   a可以表示成a=kb+r，则r=amodb　　假设d是a,b的...

_______________________________________ Heuristics，我喜欢的翻译是“探索法”，而不是“启发式”，因为前者更亲民一些，容易被理解。另外，导致理解困难的一个原因是该词经常出现在一些本来就让人迷糊的专业领域语境中，例如...

转：http://blog.csdn.net/naitu/article/details/39555373在很多飞行射击类游戏里，都有敌人向玩家自动瞄准并开火的功能。在这里本人用unity3D引擎新版本的2D系统来实现这个功能。首先，让我们了解一下原理的理论知识。我们可以把敌人和玩家放到一个坐标系中，敌人是坐标是的原点...

题目描述：增量矩阵是一个元素为初始值initialValue的递增值的矩阵// 例如，如果初始值initialValue=1，且维度为rows=3和columns=3,// 则增量矩阵为：// 1 2 3// 4 5 6// 7&...

排序：一、插入类排序 1、直接插入排序{49，38，65，97，76，13，27，_49}1)插4949    38，65，97，76，13，27，_492)插3838，49    65，97，76，13，27，_49以此类推。。...

许多人都说算法是程序的核心，算法的好坏决定了程序的质量。作为一个初级phper，虽然很少接触到算法方面的东西。但是对于基本的排序算法还是应该掌握的，它是程序开发的必备工具。这里介绍冒泡排序，插入排序，选择排序，快速排序四种基本算法，分析一下算法的思路。前提：分别用冒泡排序法，快速排序法，选择排序法，插入排序法将下面数组...