1.  安装mysql在随便一台有hadoop环境的机器上上传安装文件su-hadooprz–y解压缩：apache-hive-1.0.1-bin.tar.gztar-zxvf apache-hive-1.0.1-bin.tar.gzmvapache-hive-1.0.1-binhives...

1上传jar2加载驱动包[root@mini1bin]# ./spark-shell--masterspark://mini1:7077--jarsmysql-connector-java-5.1.32.jar--driver-class-pathmysql-connector-java-5.1.32.jar...

官网http://spark.apache.org/docs/1.6.2/sql-programming-guide.htmlvalsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext(sc)va...

iplocation需求在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。  因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。练习数据 链接：...

变量的定义vala:Int=1varb=2方法和函数区别：函数可以作为参数传递给方法方法：deftest(arg:Int):Int=>Int={方法体}valfun=（test_:Int=>(Int=>Int)）=>函数体逻辑执行语句vala=if(条件){执行逻辑返回值}else{执行逻辑}w...

https://www.cnblogs.com/qingyunzong/p/8899715.html练习1：map、filter//通过并行化生成rddvalrdd1=sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))//对rdd1里的每一个元素乘2然后排序valrdd2=rdd1.m...

计算圆周率[root@mini1bin]#./run-exampleSparkPi   [root@mini1bin]#./run-exampleSparkPi10 [root@mini1bin]#./run-exampleSparkPi1000 运行spark-she...

  实现packagecn.itcast.akkaimportakka.actor.{Actor,ActorSystem,Props}importakka.actor.Actor.Receiveimportcom.typesafe.config.ConfigFactoryimportscala.co...

架构图ActorSystem在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。Actor在Akka中，Actor负责通信，在Actor中有一些重要的生命周期方法。 1...

1概念Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。 2传统java并发编程与scalaactor编程的区别  对于Java，我们都知道它的多...

1类的定义packagecom/***CreatedbyAdministratoron2019/6/3.*///类并不用声明为public。classPerson{//用val修饰的变量是只读属性，有getter但没有setter//（相当与Java中用final修饰的变量）valid="9527"//用var修饰的变...

packagecom/***CreatedbyZXon2016/4/5.*/objectListTest{defmain(args:Array[String]){//创建一个Listvallst0=List(1,7,9,8,0,3,5,4,6,2)//将lst0中每个元素乘以10后生成一个新的集合vallst01=ls...

vallines=List("hellotomhellojerry","hellotomhellokittyhellochina")//方法一:valwc=lines.flatMap(_.split("")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size)).to...

packagecomimportscala.collection.mutable.ArrayBuffer/***CreatedbyAdministratoron2019/4/8.*/objectTestMap{defmain(args:Array[String]){//**定长数组和变长数组**************...

packagecom/***CreatedbyAdministratoron2019/4/8.*/objectTestMap{defttt(f:Int=>Int):Unit={valr=f(10)println(r)}valf0=(x:Int)=>x*xdefm0(x:Int):Int={x*11}defm...