上一篇数据中台的实战文章讲了《数据中台实战（九）：如何搭建全渠道自动化的平台》，这次我们基于实战看一下如何从0到1搭建推荐平台。推荐系统的核心是要解决人货匹配的问题。我们拿电商平台举例，作为一个电商平台，就是为了卖货，怎么把我们的货卖出去并且用户还比较满意呢？一定是找到有需求的用户。当我们平台有10个用户，50件单品在...

DNN（深度神经网络算法）现在是AI社区的流行词。最近，DNN在许多数据科学竞赛/Kaggle竞赛中获得了多次冠军。自从1962年Rosenblat提出感知机（Perceptron）以来，DNN的概念就已经出现了，而自Rumelhart、Hinton和Williams在1986年发现了梯度下降算法后，DNN的概念就变得...

代码实现：importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportdatasetsimporttensorflow.compat.v1astftf.disable_v2_behavior()#使用静态图模式运行以下代码asserttf.__version_...

张量是tensorflow中的基本数据结构#全零张量zero_tsr=tf.zeros([row_dim,col_dim])#全1张量ones_tsr=tf.ones([row_dim,col_dim])#填充张量filled_tsr=tf.fill([row_dim,col_dim],42)#常量constant_t...

代码实现：importnumpyasnpimporttensorflow.compat.v1astftf.disable_v2_behavior()#使用静态图模式运行以下代码asserttf.__version__.startswith('2.')sess=tf.Session()x_vals=np.array([1...

   现在越来越多的人工智能和机器学习以及深度学习，强化学习出现了，然后自己也对这个产生了点兴趣，特别的进行了一点点学习，就通过这篇文章来简单介绍一下，关于如何搭建Tensorflow以及如何进行使用。建议的话，还是要学习了一点Python基础知识和Linux知识是最好的！步骤：https...

 在产品迭代过程中，通常需要根据用户的属性进行归类，也就是通过分析数据，对用户进行归类，以便于在推送及转化过程中获得更大的收益。本案例是基于某互联网公司的实际用户购票数据为研究对象，对用户购票的时间，购买的金额进行了采集，每个用户用手机号来区别唯一性。数据分析人员根据用户购买的时间和金额，通过建立RFM模型，...

 在机器学习处理过程中,为了方便相关算法的实现,经常需要把标签数据(一般是字符串)转化成整数索引,或是在计算结束后将整数索引还原为相应的标签.SparkML包中提供了几个相关的转换器:StringIndexer,IndexToString,OneHotEncoder,VectorIndexer,他们提供了十分...

 卡方检验的基本公式，也就是χ2的计算公式，即观察值和理论值之间的偏差 卡方检验公式其中：A为观察值，E为理论值，k为观察值的个数，最后一个式子实际上就是具体计算的方法了n为总的频数，p为理论频率，那么n*p自然就是理论频数（理论值）卡方分布：可以看出当观察值和理论值十分接近的时候，也就是我...

  Word2vec是一个Estimator，它采用一系列代表文档的词语来训练word2vecmodel。该模型将每个词语映射到一个固定大小的向量。word2vecmodel使用文档中每个词语的平均数来将文档转换为向量，然后这个向量可以作为预测的特征，来计算文档相似度计算等等。2.1、引包，获取sp...

  CountVectorizer 旨在通过计数来将一个文档转换为向量。当不存在先验字典时，Countvectorizer作为Estimator提取词汇进行训练，并生成一个CountVectorizerModel用于存储相应的词汇向量空间。该模型产生文档关于词语的稀疏表示，其表示可以传递给...

  “词频－逆向文件频率”（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。如果我...

  一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。MLlib标准化了用于机器学习算法的API，从而使将多种算法组合到单个管道或工作流程中变得...

  1.1、定义按照某一个特定的标准（比如距离），把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不再同一个簇内的数据对象的差异性也尽可能的大。聚类属于典型的无监督学习（UnsupervisedLearning）方法。与监督学习（如分类器）相比，无监督学习的训练集没有人...

  协同过滤算法主要分为基于用户的协同过滤算法和基于项目的协同过滤算法。 基于用户的协同过滤算法和基于项目的协同过滤算法1.1、以用户为基础（User-based）的协同过滤用相似统计的方法得到具有相似爱好或者兴趣的相邻用户，所以称之为以用户为基础（User-based）的协同过滤或基于邻...