目录简介概述oozie定时任务设置1.拷贝定时任务的调度模板拷贝hello.sh脚本3.修改配置文件4.上传到hdfs对应路径5.运行定时任务简介概述在oozie当中，主要是通过Coordinator来实现任务的定时调度，与workflow类似。Coordinator这个模块也是主要通过xml来进行配置即可Coordi...

目录需求1.准备工作目录2.准备调度文件3.开发调度的配置文件4.上传资源文件夹到hdfs对应路径5.执行调度任务需求执行shell脚本→执行MR程序→执行hive程序1.准备工作目录cd/export/servers/oozie-4.1.0-cdh5.14.0/oozie_worksmkdir-psereval-ac...

目录1.准备MR执行的数据2.执行官方测试案例3.准备我们调度的资源4.修改配置文件5.上传调度任务到hdfs对应目录6.执行调度任务1.准备MR执行的数据MR的程序可以是自己写的，也可以是hadoop工程自带的。这里选用hadoop工程自带的MR程序来运行wordcount的示例准备以下数据上传到HDFS的/oozi...

目录1.拷贝hive的案例模板2.编辑hive模板3.上传工作文件到hdfs4.执行oozie的调度5.查看调度结果1.拷贝hive的案例模板cd/export/servers/oozie-4.1.0-cdh5.14.0cp-raexamples/apps/hive2/oozie_works/2.编辑hive模板这里使...

目录1.解压官方提供的调度案例2.创建工作目录3.拷贝任务模板到工作目录当中去4.随意准备一个shell脚本5.修改模板下的配置文件6.上传调度任务到hdfs上面去7.执行调度任务1.解压官方提供的调度案例cd/export/servers/oozie-4.1.0-cdh5.14.0tar-zxfoozie-examp...

目录Hue的简单介绍概述核心功能安装部署下载Hue的压缩包并上传到linux解压编译安装启动启动Hue进程hue与其他框架的集成Hue与Hadoop集成Hue与Hive集成Hue与Impala集成Hue与Mysql集成Hue与oozie集成Hue的简单介绍概述CDHHue官方帮助文档：http://archive.cl...

1.修改hue.ini配置文件这里要去掉#，打开mysql注释，大概在1547行[[[mysql]]]nice_name="MySQLDB"engine=mysqlhost=node03.hadoop.comport=3306user=rootpassword=1234562.启动hue进程，查看Hive是否与Mysq...

1.修改hue.ini配置文件[impala]server_host=node03server_port=21050impala_conf_dir=/etc/impala/conf2.启动hue进程，查看Hive是否与Hue集成成功cd/export/servers/hue-3.9.0-cdh5.14.0/build/...

目录1.更改hue的配置hue.ini2.启动hive的metastore以及hiveserver2服务3.启动hue进程，查看Hive是否与Hue集成成功1.更改hue的配置hue.inicd/export/servers/hue-3.9.0-cdh5.14.0/desktop/confvimhue.ini不推荐vi...

目录1.更改所有hadoop节点的core-site.xml配置2.更改所有hadoop节点的hdfs-site.xml3.重启hadoop集群4.停止hue的服务，并继续配置hue.ini启动hue进程，查看hadoop是否与Hue集成成功1.更改所有hadoop节点的core-site.xml配置cd/export...

目录impala的简单介绍概述优点缺点impala和Hive的关系impala如何和CDH一起工作impala的架构及查询计划impala/hive/spark对比impala的安装部署安装环境准备下载impala的所有依赖包挂载磁盘上传压缩包并解压制作本地yum源开始安装impala所有节点配置impalaimpal...

步骤概览1.打开所要挂载磁盘的虚拟机的设置（此时必须关机）2.打开硬盘设置3.添加设备4.选择新硬盘5.设置如下图6.将虚拟机开机，输入df-lh，查看当前虚拟机磁盘7.输入fdisk-l查看所挂载的磁盘8.输入fdisk/dev/sdb，开始格式化磁盘，并创建分区、写入分区9.输入fdisk-l再次查看系统挂载磁盘详...

目录数据仓库设计维度建模概述维度建模的三种模式本项目中数据仓库的设计ETL开发创建ODS层数据表导入ODS层数据生成ODS层明细宽表统计分析开发流量分析受访分析访客visit分析关键路径转化率分析（漏斗模型）级联求和流量日志分析网站整体架构模块的整体步骤为下图关于数据采集模块和数据预处理的开发在【Hadoop离线基础总...

需求在一条指定的业务流程中，各个步骤的完成人数及相对上一个步骤的百分比模型设计定义好业务流程中的页面标识Step1、/itemStep2、/categoryStep3、/indexStep4、/orderCREATETABLEdw_oute_numbsASSELECT'step1'ASstep,COUNT(DISTIN...

建表CREATETABLEt_salary_detail(usernamestring,monthstring,salaryINT)ROWformatdelimitedFIELDSTERMINATEDBY',';导入数据LOADDATALOCALinpath'/export/servers/hivedatas/clic...