在机器学习处理过程中,为了方便相关算法的实现,经常需要把标签数据(一般是字符串)转化成整数索引,或是在计算结束后将整数索引还原为相应的标签.SparkML包中提供了几个相关的转换器:StringIndexer,IndexToString,OneHotEncoder,VectorIndexer,他们提供了十分...

 卡方检验的基本公式，也就是χ2的计算公式，即观察值和理论值之间的偏差 卡方检验公式其中：A为观察值，E为理论值，k为观察值的个数，最后一个式子实际上就是具体计算的方法了n为总的频数，p为理论频率，那么n*p自然就是理论频数（理论值）卡方分布：可以看出当观察值和理论值十分接近的时候，也就是我...

  Word2vec是一个Estimator，它采用一系列代表文档的词语来训练word2vecmodel。该模型将每个词语映射到一个固定大小的向量。word2vecmodel使用文档中每个词语的平均数来将文档转换为向量，然后这个向量可以作为预测的特征，来计算文档相似度计算等等。2.1、引包，获取sp...

  CountVectorizer 旨在通过计数来将一个文档转换为向量。当不存在先验字典时，Countvectorizer作为Estimator提取词汇进行训练，并生成一个CountVectorizerModel用于存储相应的词汇向量空间。该模型产生文档关于词语的稀疏表示，其表示可以传递给...

  “词频－逆向文件频率”（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。如果我...

  一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。MLlib标准化了用于机器学习算法的API，从而使将多种算法组合到单个管道或工作流程中变得...

  1.1、定义按照某一个特定的标准（比如距离），把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不再同一个簇内的数据对象的差异性也尽可能的大。聚类属于典型的无监督学习（UnsupervisedLearning）方法。与监督学习（如分类器）相比，无监督学习的训练集没有人...

  协同过滤算法主要分为基于用户的协同过滤算法和基于项目的协同过滤算法。 基于用户的协同过滤算法和基于项目的协同过滤算法1.1、以用户为基础（User-based）的协同过滤用相似统计的方法得到具有相似爱好或者兴趣的相邻用户，所以称之为以用户为基础（User-based）的协同过滤或基于邻...

 PCA主成分分析（PrincipalComponentAnalysis）是指将多个变量通过线性变换以选出较少数重要变量的一种多元统计分析方法，又称为主成分分析。在实际应用场合中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个应用场合的某些信息。主成分分析是设法将原...

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。文章索引::”机器学习方法“，”深度学习方法”，“三十分钟理解”原创系列2017年3月，谷歌大脑负责人JeffDean在UCSB做了一场题为《通过大规模深...

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。开一个机器学习方法科普系列：做基础回顾之用，学而时习之；也拿出来与大家分享。数学水平有限，只求易懂，学习与工作够用。周期会比较长，因为我还想写一些其他的，呵呵。content:linearregression,Ridge,Lass...

转载请注明，本文出自Bin的专栏http://blog.csdn.net/xbinworld，谢谢！————————————————————————————————————————————目前我已经整理了的系列原创文章（利用工作之余的时间写的，比较慢，请见谅），未完待续。声明：本博客所有内容都为工作业余时间的学习笔记，...

在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。　　在进入正题前，我想读者心中可能会有...

转载请注明出处：Bin的专栏，http://blog.csdn.net/xbinworld 本文是对参考资料中多篇关于sampling的内容进行总结+搬运，方便以后自己翻阅。其实参考资料中的资料写的比我好，大家可以看一下！好东西多分享！PRML的第11章也是sampling，有时间后面写到PRML的笔记中去：...

作者：daniel-D出处：http://www.cnblogs.com/daniel-D/在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）等等。根据数据特性的不同，可以采用不...