51Dev开发社区
登录 注册
为你推荐

【Scala】关于集合的各种知识点
目录映射Map不可变Map概述操作实例可变Map概述操作实例Map的遍历for循环遍历格式操作实例模式匹配遍历格式操作实例Tuple元祖概述定义格式获取元素方法元祖遍历操作实例List列表不可变List概述相关方法相关操作操作实例可变List概述相关方法相关操作操作实例Set集合格式特点相关操作操作实例Map可以分为可...
代码星球·2020-08-09

【Spark】快来学习RDD的创建以及操作方式吧！
目录RDD的创建三种方式从一个集合中创建从文件中创建从其他的RDD转化而来RDD编程常用API算子分类Transformation概述帮助文档常用Transformation表Transformation使用实例Action帮助文档常用Action表Action使用实例三种方式从一个集合中创建valrdd1=sc.pa...
代码星球·2020-08-09

【Scala】新手入门，基础语法概览
目录变量、常量和数据类型varval数据类型条件表达式块表达式to循环for循环for推导式scala中的方法和函数方法的定义函数的定义函数和方法的区别var修饰的是变量，variable，值是可变的var变量名[:变量类型]=变量值scala>varage:Int=23age:Int=23scala>va...
代码星球·2020-08-09

【Spark】RDD(Resilient Distributed Dataset)究竟是什么？
目录基本概念官方文档概述含义RDD出现的原因五大属性以单词统计为例，一张图熟悉RDD当中的五大属性解构图RDD弹性RDD特点分区只读依赖缓存checkpoint基本概念官方文档介绍RDD的官方说明：http://spark.apache.org/docs/latest/rdd-programming-guide.htm...
代码星球·2020-08-09

【Spark】Spark-shell案例——standAlone模式下读取HDFS上存放的文件
目录可以先用local模式读取一下步骤一、先将做测试的数据上传到HDFS二、开发scala代码standAlone模式查看HDFS上的文件步骤一、退出local模式，重新进入Spark-shell二、开发scala代码可以先用local模式读取一下步骤一、先将做测试的数据上传到HDFScd/export/servers...
代码星球·2020-08-09

【Spark】使用java语言开发spark程序
目录步骤一、创建maven工程，导入jar包二、开发代码步骤一、创建maven工程，导入jar包<properties><scala.version>2.11.8</scala.version><spark.version>2.2.0</spark.version&...
代码星球·2020-08-09

【Spark】Spark-shell案例——单词计数统计
目录步骤一、准备本地文件以作测试二、通过--master启动本地模式三、开发scala单词统计代码步骤一、准备本地文件以作测试在第一台机器执行mkdir-p/export/servers/sparkdatascd/export/servers/sparkdatas/vimwordcount.txthellomehell...
代码星球·2020-08-09

【Spark】不熟悉Spark-shell常用参数？这一张图就够了
...
代码星球·2020-08-09

【Spark】一张图看懂Spark的运行架构，以standAlone模式为例
...
代码星球·2020-08-09

【Spark】Spark必不可少的多种集群环境搭建方法
目录Local模式运行环境搭建小知识搭建步骤一、上传压缩包并解压二、修改Spark配置文件三、启动验证进入Spark-shell四、运行Spark自带的测试jar包standAlone模式运行环境搭建搭建步骤一、修改配置文件三、将配置好的安装包分发到其他机器四、启动Spark程序五、页面访问六、进入Spark-shel...
代码星球·2020-08-09

【Spark】一起了解一下大数据必不可少的Spark吧！
目录Spark概述官网Spark是什么？特点Spark架构模块主要架构模块SparkCoreSparkSQLSparkStreamingMLlibGraghX集群管理器主要运行角色MasterWorkerExecutorTaskApplicationJobclientDriverSpark运行模式Spark概述官网ht...
代码星球·2020-08-09

【Spark】必须要用CDH版本的Spark？那你是不是需要重新编译？
目录为什么要重新编译？步骤一、下载Spark的源码二、准备linux环境，安装必须软件三、解压spark源码，修改配置，准备编译四、开始编译为什么要重新编译？由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spa...
代码星球·2020-08-09

【HBase】通过Bulkload批量加载数据到Hbase表中
目录需求步骤一、开发MapReduce二、打成Jar包放到linux执行三、有两种办法将HFile文件加载到HBase表中开发代码Hadoop命令运行需求将hdfs上面的这个路径/hbase/input/user.txt的数据文件，转换成HFile格式，然后load到myuser2表里面去先清空一下myuser2表的数...
代码星球·2020-08-09

就没有我遇不到的报错！java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter
本来准备用HBase的Bulkload将HDFS的HFile文件导入到HBase的myuser2表中，用的是yarnjar的命令yarnjar/export/servers/hbase-1.2.0-cdh5.14.0/lib/hbase-server-1.2.0-cdh5.14.0.jarcompletebulkloa...
代码星球·2020-08-09

【HBase】HBase和Hue的整合
目录一、修改hue.ini配置文件二、启动HBase的thriftserver服务三、启动Hue四、页面访问一、修改hue.ini配置文件cd/export/servers/hue-3.9.0-cdh5.14.0/desktop/confvimhue.ini[hbase]hbase_clusters=(Cluster|...
代码星球·2020-08-09
首页上一页...50825083508450855086...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他