为您找到搜索结果：4608个
Python学习——第一天
https://www.runoob.com/python/python-chinese-encoding.html第一个python程序[root@mini1~]#vipython01.pyprint("hellopython")运行pythonpython01.py结果 一安装pycharmhttps://blog.csdn.net/pdcfighting/article/details/80297499 下载的 JetBrainsPyCharm2019.1.3版本破解码56ZS5PQ1RF-eyJsaWNlbnNlSWQiOiI1NlpTNVBRMVJGIiwibGljZW5zZWVOYW1lIjoi5q2j54mI5o6I5p2DIC4iLCJhc3NpZ25lZU5hbWUiOiIiLCJhc3NpZ25lZUVtYWlsIjoiIiwibGljZW5zZVJlc3RyaWN0aW9uIjoiRm9yIGVkdWNhdGlvbmFsIHVzZSBvbmx5IiwiY2hlY2tDb25jdXJyZW50VXNlIjpmYWxzZSwicHJvZH...
大数据学习——SparkStreaming整合Kafka完成网站点击流实时统计
1.安装并配置zk2.安装并配置Kafka3.启动zk4.启动Kafka5.创建topic[root@mini3kafka]#bin/kafka-console-producer.sh--broker-listmini1:9092--topiccyf-test 程序代码packageorg.apache.sparkimportjava.net.InetSocketAddressimportorg.apache.spark.HashPartitionerimportorg.apache.spark.SparkConfimportorg.apache.spark.storage.StorageLevelimportorg.apache.spark.streaming.Secondsimportorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.flume.FlumeUtilsimportorg.apache.spark.streaming.kafka.KafkaUtilsobjec...
大数据学习——spark-steaming学习
官网http://spark.apache.org/docs/latest/streaming-programming-guide.html1.安装并启动生成者首先在一台Linux（ip：192.168.10.101）上用YUM安装nc工具yuminstall-ync 启动一个服务端并监听9999端口nc-lk9999 2.编写SparkStreaming程序packageorg.apache.sparkimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.SecondsobjectTCPWordCount{defmain(args:Array[String]){//setMaster("local[2]")本地执行2个线程，一个用来接收消息，一个用来计算valconf=newSparkConf().setMaster("local[2]").setAppName("TC...
大数据学习——sparkSql对接hive
1. 安装mysql在随便一台有hadoop环境的机器上上传安装文件su-hadooprz–y解压缩：apache-hive-1.0.1-bin.tar.gztar-zxvf apache-hive-1.0.1-bin.tar.gzmvapache-hive-1.0.1-binhivesu–rootvi/etc/profile添加内容：exportHIVE_HOME=/home/hadoop/hiveexportPATH=$PATH::$HIVE_HOME/bin source/etc/profilesu-hadoop <?xmlversion="1.0"encoding="UTF-8"standalone="no"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><!--LicensedtotheApacheSoftwareFoundation(ASF)underoneormorecontributorlicenseagreements...
大数据学习——sparkSql对接mysql
1上传jar2加载驱动包[root@mini1bin]# ./spark-shell--masterspark://mini1:7077--jarsmysql-connector-java-5.1.32.jar--driver-class-pathmysql-connector-java-5.1.32.jar createtabledept(deptnoint,dnamevarchar(14),locvarchar(13));createtableemp(enoint,enamevarchar(10),jobvarchar(9),mgrint,hirdatedate,salint,commint,deptnointnotnull);INSERTINTOdeptVALUES(10,'ACCOUNTING','NEWYORK');INSERTINTOdeptVALUES(20,'RESEARCH','DALLAS');INSERTINTOdeptVALUES(30,'SALES','CHICAGO');INSERTINTOdeptVALUES(40,'OPE...
大数据学习——sparkSql
官网http://spark.apache.org/docs/1.6.2/sql-programming-guide.htmlvalsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valdf=sqlContext.read.json("hdfs://mini1:9000/person.json")1.在本地创建一个文件，有三列，分别是id、name、age，用空格分隔，然后上传到hdfs上hdfsdfs-putperson.json/2.在sparkshell执行下面命令，读取数据，将每一行的数据使用列分隔符分割vallineRDD=sc.textFile("hdfs://mini1:9000/person.json").map(_.split(""))3.定义caseclass（相当于表的schema）caseclassPerson(id:Int,name:String,age:Int)4.将RDD和caseclass关联valpersonRDD=l...
大数据学习——spark运营案例
iplocation需求在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。 因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。练习数据 链接：https://pan.baidu.com/s/14IA1pzUWEnDK_VCH_LYRLw提取码：pnwv packageorg.apache.sparkimportorg.apache.spark.broadcast.Broadcastimportorg.apache.spark.rdd.RDDimportjava.io.{BufferedReader,FileInputStream,InputStreamReader}importjava.sql.{Connection,DriverManager,PreparedStatement}importorg.apache.spark.{SparkConf,SparkContext}importsc...
大数据学习——spark笔记
变量的定义vala:Int=1varb=2方法和函数区别：函数可以作为参数传递给方法方法：deftest(arg:Int):Int=>Int={方法体}valfun=（test_:Int=>(Int=>Int)）=>函数体逻辑执行语句vala=if(条件){执行逻辑返回值}else{执行逻辑}while(条件){执行逻辑}valarr=Array(1,2,3,4,5)for(i<-0toarr.length){arr(i)}for(i<-arr){i}集合操作ArrayArrayBufferListListBuffersetMaptuplevalarr=Array(1,2,3,4,5)arr(0)arr+=9valarrb=ArrayBuffer(1,2,3,4,5)arrb(0)vallist=List(1,2,3,4)valtuple=(1,"string")tuple._1valmap=Map("a"->1)valmap=Map(("a",1))类（重要）类的主构造器：主构造器里面的变量会被执行，方法会被加载，调用的方法会被执行calss...
大数据学习——sparkRDD
https://www.cnblogs.com/qingyunzong/p/8899715.html练习1：map、filter//通过并行化生成rddvalrdd1=sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))//对rdd1里的每一个元素乘2然后排序valrdd2=rdd1.map(_*2).sortBy(x=>x,true)//过滤出大于等于十的元素valrdd3=rdd2.filter(_>=10)//将元素以数组的方式在客户端显示rdd3.collect 练习2：flatmapvalrdd1=sc.parallelize(Array("abc","def","hij"))//将rdd1里面的每一个元素先切分在压平valrdd2=rdd1.flatMap(_.split(''))rdd2.collect 练习3：交集、并集valrdd1=sc.parallelize(List(5,6,4,3))valrdd2=sc.parallelize(List(1,2,3,4))//求并集valrdd3=rdd1.uni...
大数据学习——spark学习
计算圆周率[root@mini1bin]#./run-exampleSparkPi [root@mini1bin]#./run-exampleSparkPi10 [root@mini1bin]#./run-exampleSparkPi1000 运行spark-shell的两种方式：1直接运行spark-shell 单机通过多线程跑任务，只运行一个进程叫submit2运行spark-shell--masterspark://mini1:7077 将任务运行在集群中，运行submit在master上，运行executor在worker上 启动[root@mini1bin]#./spark-shell hdfshadoop/sbin/start-dfs.sh 计算wordcountsc.textFile("/root/words.txt").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).collect 升序，...
大数据学习——akka自定义RPC
实现packagecn.itcast.akkaimportakka.actor.{Actor,ActorSystem,Props}importakka.actor.Actor.Receiveimportcom.typesafe.config.ConfigFactoryimportscala.collection.mutableimportscala.concurrent.duration._classMaster(valhost:String,valport:Int)extendsActor{//保存WorkerID到WorkerInfo的映射validToWorker=newmutable.HashMap[String,WorkerInfo]()//保存所的WorkerInfo信息valworkers=newmutable.HashSet[WorkerInfo]()valCHECK_INTERVAL=15000overridedefpreStart():Unit={//导入隐式转换importcontext.dispatchercontext.system.s...
大数据学习——akka学习
架构图ActorSystem在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。Actor在Akka中，Actor负责通信，在Actor中有一些重要的生命周期方法。 1.preStart()方法：该方法在Actor对象构造方法执行后执行，整个Actor生命周期中仅执行一次。2.receive()方法：该方法在Actor的preStart方法执行完成后执行，用于接收消息，会被反复执行。 代码 <?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://mave...
大数据学习——actor编程
1概念Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。 2传统java并发编程与scalaactor编程的区别 对于Java，我们都知道它的多线程实现需要对共享资源（变量、对象等）使用synchronized关键字进行代码块同步、对象锁互斥等等。而且，常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源，对这些资源进行共享来实现多线程编程的话，控制好资源竞争与防止对象状态被意外修改是非常重要的，而对象状态的不变性也是较难以保证的。而在Scala中，我们可以通过复制不可变状态的资源（即对象，Scala中一切都是对象，连函数、方法也是）的一个副本，再基于Actor的消息发送、接收机制进行并行编程 3actor方法执行顺序1.首先调用start()方法启动Actor2.调用start()方法后其ac...
大数据学习——scala类相关操作
1类的定义packagecom/***CreatedbyAdministratoron2019/6/3.*///类并不用声明为public。classPerson{//用val修饰的变量是只读属性，有getter但没有setter//（相当与Java中用final修饰的变量）valid="9527"//用var修饰的变量既有getter又有settervarage=18//类私有字段,只能在类的内部使用privatevarname="唐伯虎"//对象私有字段,访问权限更加严格的，Person类的方法只能访问到当前对象的字段private[this]valpet="小强"} 2构造器packagecom/***CreatedbyAdministratoron2019/6/4.*///跟类名交织在一起的叫主构造器classStudent(valname:String,varage:Int,faceValue:Double=99.99,privatevarheight:Int=18){private[this]vargender:String=nulldefshow():Unit=...