1.1基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面常用的应用有：在地图应用中找到最短路径、基于与他人的相似度图，推荐产品、服务、人际关系或媒体1.2...

1.初始化Sparkimportorg.apache.spark.{SparkContext,SparkConf}valconf=newSparkConf().setAppName("RDD1").setMaster("local")valsc=newSparkContext(conf)2.创建RDD的方法内存：Par...

1)本地运行报错： Exceptioninthread"main"org.apache.spark.SparkException:AmasterURLmustbesetinyourconfiguration解决方案：第一种，在代码里设置：valconf=newSparkConf().setAppName("S...

欢呼一下先。软件环境菜鸟的我终于把单机Spark和Pyspark安装成功了。加油加油！！！1.安装方法参考：已安装Pycharm和IntellijIDEA。win7PySpark安装：http://blog.csdn.net/a819825294/article/details/51782773win7Spark安装：...

学习参考自 http://spark-internals.books.yourtion.com/markdown/4-shuffleDetails.html 1. Shuffleread边fetch边处理还是一次性fetch完再处理？边fetch边处理。MapReduce &nb...

4.假设检验基础回顾：假设检验，用于判断一个结果是否在统计上是显著的、这个结果是否有机会发生。显著性检验原假设与备择假设      常把一个要检验的假设记作 H0,称为原假设（或零假设）(nullhypothesis)  &nbs...

1. 概括统计summarystatisticsMLlib支持RDD[Vector]列式的概括统计，它通过调用 Statistics 的 colStats方法实现。colStats返回一个 MultivariateStatisticalSummary 对象，这...

 1. MLlib ApacheSpark'sscalablemachinelearninglibrary,withAPIsinJava,ScalaandPython.2. 数据类型本地向量，标注点，本地矩阵，分布式矩阵3.本地向量LocalVector稠密向量dense&nbs...

sparkstreaming调优的几个角度：高效地利用集群资源减少批数据的处理时间设置正确的批容量（size），使数据的处理速度能够赶上数据的接收速度内存调优SparkSQL可以通过调用 sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。...

Spark的shell是一个强大的交互式数据分析工具。1.搭建Spark2.两个目录下面有可执行文件：bin  包含spark-shell和spark-submitsbin 包含sbin/start-master.sh：在机器上启动一个master实例sbin/start-slaves.s...

本来没打算学Spark的，不过时机很逗。最膜拜的大神做spark分享，还是其中最好玩的notebook。这不就是另外一个HUE吗，但感觉更好玩。刚好新的Spark2.x要问世了，大神在组织战队一起迭代。就此开始跟着大神脚后跟一点点的了解，学习争取入门吧。https://github.com/endymecy/spark...

importorg.apache.spark.graphx.{Edge,Graph,VertexId}importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}//求共同好友objectCommendFriend{defma...

  经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hivejdbcpackage有没有包含在里面，...

最近项目中需要用到sparksql，需要查询sqlDate类型，无奈，官方现阶段1.6.0还不支持Date类型，不过支持Timestamp类型，所以问题可以解决了。1.解析SimpleDateFormatdateFormat=newSimpleDateFormat("yyyy-MM-ddHH:mm:ss");Dateb...

1.socket消息发送importjava.net.ServerSocketimportjava.io.PrintWriterimportscala.collection.mutable.ListBufferimportjava.util.Random/***Createdbyzzyon8/28/15.*//***模...