1. 概括统计summarystatisticsMLlib支持RDD[Vector]列式的概括统计，它通过调用 Statistics 的 colStats方法实现。colStats返回一个 MultivariateStatisticalSummary 对象，这...

 1. MLlib ApacheSpark'sscalablemachinelearninglibrary,withAPIsinJava,ScalaandPython.2. 数据类型本地向量，标注点，本地矩阵，分布式矩阵3.本地向量LocalVector稠密向量dense&nbs...

sparkstreaming调优的几个角度：高效地利用集群资源减少批数据的处理时间设置正确的批容量（size），使数据的处理速度能够赶上数据的接收速度内存调优SparkSQL可以通过调用 sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。...

Spark的shell是一个强大的交互式数据分析工具。1.搭建Spark2.两个目录下面有可执行文件：bin  包含spark-shell和spark-submitsbin 包含sbin/start-master.sh：在机器上启动一个master实例sbin/start-slaves.s...

本来没打算学Spark的，不过时机很逗。最膜拜的大神做spark分享，还是其中最好玩的notebook。这不就是另外一个HUE吗，但感觉更好玩。刚好新的Spark2.x要问世了，大神在组织战队一起迭代。就此开始跟着大神脚后跟一点点的了解，学习争取入门吧。https://github.com/endymecy/spark...

<span string">"font-size:18px;">select fid from vgnss where SDO_WITHIN_DISTANCE(geom, sdo_geometry('wkt', 4326),'d...

span是最简单的容器，可以当作一个形式标签，其取值赋值方法有别于一般的页面元素。//赋值$("#spanid").html(value)//取值$("#spanid").text()...

最近在做的一个项目里面碰到这么一个问题：<p><span>块1</span><span>块2</span></p>　　在“块1”和“块2”之间存在着一个大概3em的空白...图就不上了这明显不符合预期...

<tableborder="1"color:#800000;">"border-collapse:collapse;"><tr><td>def</td><td>ghi</td></tr><tr><tdcolspan="...

importorg.apache.spark.graphx.{Edge,Graph,VertexId}importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}//求共同好友objectCommendFriend{defma...

  经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hivejdbcpackage有没有包含在里面，...

最近项目中需要用到sparksql，需要查询sqlDate类型，无奈，官方现阶段1.6.0还不支持Date类型，不过支持Timestamp类型，所以问题可以解决了。1.解析SimpleDateFormatdateFormat=newSimpleDateFormat("yyyy-MM-ddHH:mm:ss");Dateb...

1.socket消息发送importjava.net.ServerSocketimportjava.io.PrintWriterimportscala.collection.mutable.ListBufferimportjava.util.Random/***Createdbyzzyon8/28/15.*//***模...

1.sparkonyarnimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._/***Createdbyzzyon8/27/15.*/objectSaprkOnYarn{defmain(args:Array[String]){i...

Spark之命令1.spark运行模式有4种：a.local多有用测试,b.standalone：spark集群模式，使用spark自己的调度方式。c.Yarn:对MapreduceV1升级的经典版本，支持spark。d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行...