2017年09月25日11:30:27 Goddess_liangyanli 阅读数：7324 标签： 手机 版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/sinat_39430615/article/details/7...

使用本地模式，不需要安装spark，引入相关JAR包即可：<dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>...

Scala是一门多范式的编程语言，一种类似java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象和函数式变成的各种特性。这里为了学习spark特地配置了scala.1、下载scala安装包：　　http://www.scala-lang.org/download    &...

文章目录思路分析步骤一、创建maven工程，导包二、master进程代码开发三、worker进程代码开发1.首先启动master，然后依次启动worker2.启动worker时，向master发送注册信息（使用caseclass封装注册信息——workerID,memory,cores）3.接收注册信息，保存注册的wo...

文章目录步骤一、创建maven工程，导入jar包二、master进程代码开发三、worker进程代码开发四、控制台结果一、创建maven工程，导入jar包<properties><maven.compiler.source>1.8</maven.compiler.source><...

文章目录定义隐式参数隐式转换隐式值：给方法提供参数隐式视图将Int和Double类型转换为String狗狗学技能(使用别的类中的方法)使用规则隐式参数隐式参数指在函数或者方法中，定义一个用implicit修饰的参数，此时Scala会尝试找到一个指定类型的，用implicit修饰的参数，即隐式值，并注入参数。Scala会...

文章目录作为参数的函数匿名函数柯里化函数(currying)闭包函数scala>vala1=Array(1,2,3,4)//这是一个数组a1:Array[Int]=Array(1,2,3,4)scala>valf1=(x:Int)=>x*2//这是一个函数，命名f1f1:Int=>Int=<...

文章目录对单个文本文件进行单词计数对多个文本文件进行单词计数importscala.actors.Actorimportscala.io.Source//读取文件名称样例类caseclassSubmitTask(fileName:String)classActor2WordCountextendsActor{overr...

文章目录简单实现Actor并发编程使用Actor实现发送没有返回值的异步消息使用Actor实现不间断消息发送用react方法替代receive方法接收消息结合caseclass，通过匹配不同的样例类执行不同操作importscala.actors.Actor//todo使用actor实现并发编程classActor1e...

文章目录内容匹配类型匹配s表达式caseclass样例类偏函数importscala.util.RandomobjectTestMatch{defmain(args:Array[String]):Unit={//创建一个Int数组valarray=Array(12,34,56,78)//随机生成数组中的元素并赋值给常量...

classAnimal{}classCatextendsAnimal{}objectCat{defmain(args:Array[String]):Unit={//新创建一个Cat对象valcat1:Cat=newCat//创建另一个Cat对象valcat2:Animal=newCat//因为Cat继承了Animal类...

packagecn.itcast.scala.demo2classPerson{//private关键字和final关键字修饰的常量无法被继承重写valid:Int=1varname:String="zhangsan"defsayHello=println("hello")}//子类可以使用extends继承父类，这么...

classApplyTest(valname:String){/***apply源码*defapply(x:Int,xs:Int*):Array[Int]={*valarray=newArray[Int](xs.length+1)*array(0)=x*vari=1*for(x<-xs.iterator){arr...

/***主构造器直接定义在类名称的后面，参数列表和类名写在一起*主构造器的参数会自动提升为对象的属性，不需要在对象中重新定义一遍*/classStudent(valid:Int,name:String){println("主构造器开始执行")//Student类的私有属性privatevalcity="beijing"...

目录映射Map不可变Map概述操作实例可变Map概述操作实例Map的遍历for循环遍历格式操作实例模式匹配遍历格式操作实例Tuple元祖概述定义格式获取元素方法元祖遍历操作实例List列表不可变List概述相关方法相关操作操作实例可变List概述相关方法相关操作操作实例Set集合格式特点相关操作操作实例Map可以分为可...