实验环境  环境准备1.下载hadoop，官网地址：https://hadoop.apache.org/releases.htmlwgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz2.关...

写在前面：需要保证hadoop版本 各个jar版本一致，否则可能出现各种哦莫名奇妙的错误！maven依赖：<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xs...

hadoop的核心：HDFS（负责数据存储）、MapReduce（计算模型）、YARN（资源调度管理）事先需要安装JDK和ssh安装sshsudoaptinstallopenssh-server配置ssh无密登陆ssh-keygen-trsa#一直回车cat~/.ssh/id_rsa.pub>>~/.ssh...

解决方法：hadoopfs-mkdir-ptestdata...

作者：凯鲁嘎吉-博客园 http://www.cnblogs.com/kailugaji/在官网上下载好四个文件在Ubuntu的/home/wrr/下创建一个文件夹java，将这四个文件拷到Ubuntu的/home/wrr/java/下，将eclipse、hadoop-2.7.6与jdk进行解压，将.iar文...

我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理： 对输入数据进行切分，生成一组split，一个split会分发给一个mapper进行处理。 针对每个split，再创建一个RecordReader读取Split内的数据，并按照<key,valu...

本来准备用HBase的Bulkload将HDFS的HFile文件导入到HBase的myuser2表中，用的是yarnjar的命令yarnjar/export/servers/hbase-1.2.0-cdh5.14.0/lib/hbase-server-1.2.0-cdh5.14.0.jarcompletebulkloa...

目录简单介绍HadoopHA概述集群搭建规划集群搭建第一步：停止服务第二步：启动所有节点的ZooKeeper第三步：更改配置文件第四步：启动服务简单介绍HadoopHA概述HA(HighAvailable)——高可用，是保证业务连续性的有效解决方案。一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（S...

目录简单介绍概述架构安装部署1.修改core-site.xml2.上传oozie的安装包并解压3.解压hadooplibs到与oozie平行的目录4.创建libext目录，并拷贝依赖包到libext目录5.拷贝mysql的驱动包到libext目录下6.上传ext-2.2.zip压缩包到libext目录下7.修改oozi...

目录1.停止oozie与hue的进程2.修改oozie的配置文件3.修改hue的配置文件4.启动hue与oozie的进程5.页面访问hue1.停止oozie与hue的进程bin/oozied.shstop2.修改oozie的配置文件（老版本的bug，新版本已经不需要了）这一步我们都不需要做了修改oozie-site.x...

目录简介概述oozie定时任务设置1.拷贝定时任务的调度模板拷贝hello.sh脚本3.修改配置文件4.上传到hdfs对应路径5.运行定时任务简介概述在oozie当中，主要是通过Coordinator来实现任务的定时调度，与workflow类似。Coordinator这个模块也是主要通过xml来进行配置即可Coordi...

目录需求1.准备工作目录2.准备调度文件3.开发调度的配置文件4.上传资源文件夹到hdfs对应路径5.执行调度任务需求执行shell脚本→执行MR程序→执行hive程序1.准备工作目录cd/export/servers/oozie-4.1.0-cdh5.14.0/oozie_worksmkdir-psereval-ac...

目录1.准备MR执行的数据2.执行官方测试案例3.准备我们调度的资源4.修改配置文件5.上传调度任务到hdfs对应目录6.执行调度任务1.准备MR执行的数据MR的程序可以是自己写的，也可以是hadoop工程自带的。这里选用hadoop工程自带的MR程序来运行wordcount的示例准备以下数据上传到HDFS的/oozi...

目录1.拷贝hive的案例模板2.编辑hive模板3.上传工作文件到hdfs4.执行oozie的调度5.查看调度结果1.拷贝hive的案例模板cd/export/servers/oozie-4.1.0-cdh5.14.0cp-raexamples/apps/hive2/oozie_works/2.编辑hive模板这里使...

目录1.解压官方提供的调度案例2.创建工作目录3.拷贝任务模板到工作目录当中去4.随意准备一个shell脚本5.修改模板下的配置文件6.上传调度任务到hdfs上面去7.执行调度任务1.解压官方提供的调度案例cd/export/servers/oozie-4.1.0-cdh5.14.0tar-zxfoozie-examp...