问题导读：1.什么是RDD?2.如何实现RDD转换？ 1、什么是RDD？上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数据集，每...

问题导读：1.spark是如何提交作业的？2.Akka框架是如何实现的？3.如何实现调度的？前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。 这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Drive...

 在产品迭代过程中，通常需要根据用户的属性进行归类，也就是通过分析数据，对用户进行归类，以便于在推送及转化过程中获得更大的收益。本案例是基于某互联网公司的实际用户购票数据为研究对象，对用户购票的时间，购买的金额进行了采集，每个用户用手机号来区别唯一性。数据分析人员根据用户购买的时间和金额，通过建立RFM模型，...

 在机器学习处理过程中,为了方便相关算法的实现,经常需要把标签数据(一般是字符串)转化成整数索引,或是在计算结束后将整数索引还原为相应的标签.SparkML包中提供了几个相关的转换器:StringIndexer,IndexToString,OneHotEncoder,VectorIndexer,他们提供了十分...

 卡方检验的基本公式，也就是χ2的计算公式，即观察值和理论值之间的偏差 卡方检验公式其中：A为观察值，E为理论值，k为观察值的个数，最后一个式子实际上就是具体计算的方法了n为总的频数，p为理论频率，那么n*p自然就是理论频数（理论值）卡方分布：可以看出当观察值和理论值十分接近的时候，也就是我...

  Word2vec是一个Estimator，它采用一系列代表文档的词语来训练word2vecmodel。该模型将每个词语映射到一个固定大小的向量。word2vecmodel使用文档中每个词语的平均数来将文档转换为向量，然后这个向量可以作为预测的特征，来计算文档相似度计算等等。2.1、引包，获取sp...

  CountVectorizer 旨在通过计数来将一个文档转换为向量。当不存在先验字典时，Countvectorizer作为Estimator提取词汇进行训练，并生成一个CountVectorizerModel用于存储相应的词汇向量空间。该模型产生文档关于词语的稀疏表示，其表示可以传递给...

  “词频－逆向文件频率”（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。如果我...

  一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。MLlib标准化了用于机器学习算法的API，从而使将多种算法组合到单个管道或工作流程中变得...

  1.1、定义按照某一个特定的标准（比如距离），把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不再同一个簇内的数据对象的差异性也尽可能的大。聚类属于典型的无监督学习（UnsupervisedLearning）方法。与监督学习（如分类器）相比，无监督学习的训练集没有人...

  协同过滤算法主要分为基于用户的协同过滤算法和基于项目的协同过滤算法。 基于用户的协同过滤算法和基于项目的协同过滤算法1.1、以用户为基础（User-based）的协同过滤用相似统计的方法得到具有相似爱好或者兴趣的相邻用户，所以称之为以用户为基础（User-based）的协同过滤或基于邻...

 PCA主成分分析（PrincipalComponentAnalysis）是指将多个变量通过线性变换以选出较少数重要变量的一种多元统计分析方法，又称为主成分分析。在实际应用场合中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个应用场合的某些信息。主成分分析是设法将原...

如果没有安装包,可以用我的这个百度网盘链接点击进入提取码:eku1解压之后 准备开始配置环境变量         如果运行时候报错参考(java.io.IOException:Couldnotlocateexecutab...

Spark读取JSON文件时运行报错java.io.IOException:Couldnotlocateexecutablenullinwinutils.exeintheHadoopbinaries. 需要文件百度网盘链接点击进入提取码:eku1先把winutils.exe文件放入hadoop的bin目录里...

  降维（DimensionalityReduction）是机器学习中的一种重要的特征处理手段，它可以减少计算过程中考虑到的随机变量（即特征）的个数，其被广泛应用于各种机器学习问题中，用于消除噪声、对抗数据稀疏问题。它在尽可能维持原始数据的内在结构的前提下，得到一组描述原数据的，低维度的隐式特征（或...