https://www.cnblogs.com/qingyunzong/p/8899715.html练习1：map、filter//通过并行化生成rddvalrdd1=sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))//对rdd1里的每一个元素乘2然后排序valrdd2=rdd1.m...

计算圆周率[root@mini1bin]#./run-exampleSparkPi   [root@mini1bin]#./run-exampleSparkPi10 [root@mini1bin]#./run-exampleSparkPi1000 运行spark-she...

 1下载安装包2上传并解压（不需要修改配置文件） tar-zxvfspark-1.6.2-bin-hadoop2.6.tgzmvspark-1.6.2-bin-hadoop2.6spark 3启动进入spark/bin./spark-shell 计算单词出现次数sc.textFi...

FreeMarker是一个模板引擎，一个基于模板生成文本输出的通用工具，使用纯Java编写 FreeMarker被设计用来生成HTMLWeb页面，特别是基于MVC模式的应用程序 虽然FreeMarker具有一些编程的能力，但通常由Java程序准备要显示的数据，由FreeMarker生成页面，通过模板...

说在前面的话　　此笔，对于仅对于Hadoop和Spark初中学者。高手请忽略！    1Java基础：   视频方面：     推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，j...

VScode已经默认集成markdown文档编辑插件。可以新建一个.md文件VisualStudioCode原生就支持高亮Markdown的语法，想要一边编辑一遍预览，有两种方法：1.Ctrl+Shift+P调出主命令框，输入Markdown，应该会匹配到几项Markdown相关命令2.先按Ctrl+K，然后放掉，紧接...

原文地址:https://blog.csdn.net/f641385712/article/details/804459121、概述想必大家一想到事务，就想到ACID，或者也会想到CAP。但笔者今天不讨论这个，哈哈~本文将从应用层面稍带一点源码，来解释一下我们平时使用事务遇到的一个问题但让很多人又很棘手的问题：Tran...

1按照默认设置，前4K空间为ROM，后4K空间是RAM。为什么RAM需要初值，初值从哪儿来？ 2指令分类LUI:AUTPC:JAL:JALR:BCC:BEQ/BGE/BGEU/BLT/BLTU/BNE/LCC:LB/LBU/LD/LH/LHU/LWMCC:ORI/ANDI/XORI/ADDI/SLLI/SRL...

目录一、介绍二、连接Spark三、创建RDD四、RDD常用的转换Transformation五、RDD 常用的执行动作Action Spark1.3.0只支持Python2.6或更高的版本（但不支持Python3）。它使用了标准的CPython解释器，所以诸如NumPy一类的C库也是可以使用的。通过...

原文链接：https://mp.weixin.qq.com/s/mUUKO-oCsy_xxi7dQduhwg准备工作查看操作系统的版本信息：计算机>>右键“属性”>>查看版本信息，如Windows10专业版64位。   安装Anaconda 1.1下载注意...

 1.多条件过滤条件表达式：等于：==或者eq大于：>或者gt小于：<或者lt不大于：<=或者le不小于：>=或者ge不等：ne||(或)，&&（与），或者使用英文：and，or例子：ip.srceq192.168.1.107orip.dsteq192.168.1.10...

  　　wireshark是非常流行的网络封包分析软件，功能十分强大。可以截取各种网络封包，显示网络封包的详细信息。使用wireshark的人必须了解网络协议，否则就看不懂wireshark了。为了安全考虑，wireshark只能查看封包，而不能修改封包的内容，或者发送封包。　　wireshark能...

FreeMarker是一个模板引擎，一个基于模板生成文本输出的通用工具，使用纯Java编写。它是为Java程序猿提供的一个开发包。它不是面向终于用户的，而是为程序猿提供的一款能够嵌入他们所开发产品的应用程序。那么。FreeMarker是一款如何的工具呢？FreeMarker实际上是被设计用来生成HTMLWeb页面，尤其...

1、postman支持markdown作为集合中的请求，对集合和文件夹进行文字描述的方式，您可以嵌入屏幕截图和其他图像已获得更多描述性的介绍。2、已markdown语法为准，填写自己想要展示的内容 3、填写完后看展示效果如下： 4、以上所填写的描述，将会显示在该集合的自动生成文档中，查看自动生成文档...

首先注意版本兼容问题！！！本文采用的是Scala2.11.8+Hadoop2.7.5+Spark2.2.0请在下载Spark时务必看清对应的Scala和Hadoop版本！  1.下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/...