（一）、failover故障转移在完成单点的FlumeNG搭建后，下面我们搭建一个高可用的FlumeNG集群，架构图如下所示：（1）节点分配Flume的Agent和Collector分布如下表所示：名称Ip地址       Host角色Agent11...

采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs,使用agent串联根据需求，首先定义以下3大要素第一台flumeagentl 采集源，即source——监控文件内容更新:      &...

flume拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。2、flume内置的拦...

采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs 根据需求，首先定义以下3大要素l 采集源，即source——监控文件内容更新: exec ‘tail-Ffile’l 下沉目标，即sink——HDFS文件系...

采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素l 采集源，即source——监控文件目录: spooldirl 下沉目标，即sink——HDFS文件系统 : hdfssinkl&nbs...

1.Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar-zxvfapache-flume-1.6.0-bin.tar.gz2.cdapache-flume-1.6.0-bin;cdconf;--修改环境变量--重命名mvflume-env.s...

createtablet_access_times(usernamestring,monthstring,salaryint)rowformatdelimitedfieldsterminatedby',';loaddatalocalinpath'/root/hivedata/t_access_times.dat'int...

1内置函数测试各种内置函数的快捷方法：1、创建一个dual表createtabledual(idstring);2、load一个文件（一行，一个空格）到dual表3、selectsubstr('angelababy',2,3)fromdual; 2自定义函数UDF(user-definedfunction)和...

1.hive的数据类型Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型2.hive基本数据类型基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VA...

准备数据2,b3,c4,d7,y8,u2,bb3,cc7,yy9,pp建表：createtablea(idint,namestring)rowformatdelimitedfieldsterminatedby',';createtableb(idint,namestring)rowformatdelimitedfiel...

 1新建一个数据库createdatabasedb3;2创建一个外部表--外部表建表语句示例：createexternaltablestudent_ext(Snoint,Snamestring,Sexstring,Sageint,Sdeptstring)rowformatdelimitedfieldsterm...

1showdatabases;2desct_partition001;3descextendedt_partition002;4descformattedt_partition002;5!clear;6!ls;7dfs-ls/;2DML操作loadloaddatalocalinpath'/root/hivedata/t...

1创建一个分区表createtablet_partition001(ipstring,durationint)partitionedby(countrystring)rowformatdelimitedfieldsterminatedby',';2添加数据loaddatalocalinpath'/root/hiveda...

1建表createtablestudent(idint,namestring,ageint)rowformatdelimitedfieldsterminatedby',';2创建一个student.txt添加数据1,zhangsan,102,lisi,203,wnagwu,253上传hdfsdfs-putstudent...

Hive交互shellbin/hive HiveJDBC服务hive也可以启动为一个服务器，来对外提供  启动方式，（假如是在itcast01上）：启动为前台：bin/hiveserver2启动为后台：nohupbin/hiveserver21>/var/log/hiveserver...