#百面机器学习

大数据学习——sql练习

1、现有如下的建表语句和数据:建表语句createtablestudent(Snoint,Snamestring,Sexstring,Sageint,Sdeptstring)rowformatdelimitedfieldsterminatedby','storedastextfile;createtablecourse...
代码星球 代码星球·2021-02-17

大数据学习——hive的sql练习题

ABC三个hive表每个表中都只有一列int类型且列名相同,求三个表中互不重复的数createtablea(ageint)rowformatdelimitedfieldsterminatedby',';createtableb(ageint)rowformatdelimitedfieldsterminatedby','...

大数据学习——Hbase

1、简介hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(rowkey)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主...
代码星球 代码星球·2021-02-17

大数据学习——azkaban工作流调度系统

azkaban的安装部署 在/root/apps1目录下新建azkaban文件夹上传安装包到azkaban2解压tar-zxvfazkaban-web-server-2.5.0.tar.gz3删掉安装包[root@mini1azkaban]#rm-rfazkaban-executor-server-2.5.0...

大数据学习——sqoop导出数据

把数据从hadoop导出到关系型数据库 将数据从HDFS导出到RDBMS数据库导出前,目标表必须存在于目标数据库中。u 默认操作是从将文件中的数据使用INSERT语句插入到表中u 更新模式下,是生成UPDATE语句更新表数据语法以下是export命令语法。$sqoopexport(gene...
代码星球 代码星球·2021-02-17

大数据学习——sqoop导入数据

把数据从关系型数据库导入到hadoop启动sqoop 导入表表数据到HDFS下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。sqoopimport--connectjdbc:mysql://mini1:3306/userdb--usernameroot--password123456--tab...
代码星球 代码星球·2021-02-17

大数据学习——sqoop安装

1上传  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2解压 tar-zxvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz3重命名mvsqoop-1.4.6.bin__hadoop-2.0.4-alphasqo...
代码星球 代码星球·2021-02-17

大数据学习——sqoop入门

下载地址https://pan.baidu.com/s/1qWDl29L9I_KVU54c0ioNfQ fvfhsqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据...
代码星球 代码星球·2021-02-17

大数据学习——flume日志分类采集汇总

A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log现在要求: 把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为: /source/logs/access/...

大数据学习——高可用配置案例

(一)、failover故障转移在完成单点的FlumeNG搭建后,下面我们搭建一个高可用的FlumeNG集群,架构图如下所示:(1)节点分配Flume的Agent和Collector分布如下表所示:名称Ip地址       Host角色Agent11...

大数据学习——实现多agent的串联,收集数据到HDFS中

采集需求:比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs,使用agent串联根据需求,首先定义以下3大要素第一台flumeagentl 采集源,即source——监控文件内容更新:      &...

大数据学习——flume拦截器

flume拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件,设置在source和channel之间。source接收到的事件event,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。2、flume内置的拦...
代码星球 代码星球·2021-02-17

大数据学习——采集文件到HDFS

采集需求:比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs 根据需求,首先定义以下3大要素l 采集源,即source——监控文件内容更新: exec ‘tail-Ffile’l 下沉目标,即sink——HDFS文件系...

大数据学习——采集目录到HDFS

采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去根据需求,首先定义以下3大要素l 采集源,即source——监控文件目录: spooldirl 下沉目标,即sink——HDFS文件系统 : hdfssinkl&nbs...

大数据学习——flume安装部署

1.Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar-zxvfapache-flume-1.6.0-bin.tar.gz2.cdapache-flume-1.6.0-bin;cdconf;--修改环境变量--重命名mvflume-env.s...
首页上一页...1819202122...下一页尾页