51dev.com IT技术开发者社区

51dev.com 技术开发者社区

【Hadoop离线基础总结】Hue与Impala集成

【Hadoop离线基础总结】Hue与Impala集成

1.修改hue.ini配置文件[impala]server_host=node03server_port=21050impala_conf_dir=/etc/impala/conf2.启动hue进程,查看Hive是否与Hue集成成功cd/export/servers/hue-3.9.0-cdh5.1...

【Hadoop离线基础总结】Hue与Hive集成

【Hadoop离线基础总结】Hue与Hive集成

目录1.更改hue的配置hue.ini2.启动hive的metastore以及hiveserver2服务3.启动hue进程,查看Hive是否与Hue集成成功1.更改hue的配置hue.inicd/export/servers/hue-3.9.0-cdh5.14.0/desktop/confvimhu...

【Hadoop离线基础总结】Hue与Hadoop集成

【Hadoop离线基础总结】Hue与Hadoop集成

目录1.更改所有hadoop节点的core-site.xml配置2.更改所有hadoop节点的hdfs-site.xml3.重启hadoop集群4.停止hue的服务,并继续配置hue.ini启动hue进程,查看hadoop是否与Hue集成成功1.更改所有hadoop节点的core-site.xml配...

【Hadoop离线基础总结】impala简单介绍及安装部署

【Hadoop离线基础总结】impala简单介绍及安装部署

目录impala的简单介绍概述优点缺点impala和Hive的关系impala如何和CDH一起工作impala的架构及查询计划impala/hive/spark对比impala的安装部署安装环境准备下载impala的所有依赖包挂载磁盘上传压缩包并解压制作本地yum源开始安装impala所有节点配置i...

centos7启动httpd服务失败:Job for httpd.service failed because the control process exited with error code.

centos7启动httpd服务失败:Job for httpd.service failed because the control process exited with error code.

centos7启动httpd命令有两个可以用servicehttpdstart    systemctlstarthttpd.service如果出现如下报错Jobforhttpd.servicefailedbecausethecontrolprocessexitedwitherrorcode.See...

【Hadoop离线基础总结】Mac版VMware Fusion虚拟机磁盘挂载

【Hadoop离线基础总结】Mac版VMware Fusion虚拟机磁盘挂载

步骤概览1.打开所要挂载磁盘的虚拟机的设置(此时必须关机)2.打开硬盘设置3.添加设备4.选择新硬盘5.设置如下图6.将虚拟机开机,输入df-lh,查看当前虚拟机磁盘7.输入fdisk-l查看所挂载的磁盘8.输入fdisk/dev/sdb,开始格式化磁盘,并创建分区、写入分区9.输入fdisk-l再...

Azkaban无法连接网页

Azkaban无法连接网页

出的问题如下图首先我查看日志看到有一个[ERROR]2020/03/1311:12:34.417+0800ERROR[PluginCheckerAndActionsLoader][Azkaban]pluginpathplugins/triggersdoesn’texist!我一直以为是这个出错导致无...

【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

目录数据仓库设计维度建模概述维度建模的三种模式本项目中数据仓库的设计ETL开发创建ODS层数据表导入ODS层数据生成ODS层明细宽表统计分析开发流量分析受访分析访客visit分析关键路径转化率分析(漏斗模型)级联求和流量日志分析网站整体架构模块的整体步骤为下图关于数据采集模块和数据预处理的开发在【H...

【Hadoop离线基础总结】关键路径转化率分析(漏斗模型)

【Hadoop离线基础总结】关键路径转化率分析(漏斗模型)

需求在一条指定的业务流程中,各个步骤的完成人数及相对上一个步骤的百分比模型设计定义好业务流程中的页面标识Step1、/itemStep2、/categoryStep3、/indexStep4、/orderCREATETABLEdw_oute_numbsASSELECT'step1'ASstep,CO...

【Hadoop离线基础总结】Hive级联求和

【Hadoop离线基础总结】Hive级联求和

建表CREATETABLEt_salary_detail(usernamestring,monthstring,salaryINT)ROWformatdelimitedFIELDSTERMINATEDBY',';导入数据LOADDATALOCALinpath'/export/servers/hive...

【Hadoop离线基础总结】网站流量日志数据分析系统

【Hadoop离线基础总结】网站流量日志数据分析系统

目录点击流数据模型概述点击流模型网站流量分析网站流量模型分析网站流量来源网站流量多维度细分网站内容及导航分析网站转化及漏斗分析流量常见分析角度和指标分类指标概述指标分类分析角度流量日志分析网站整体架构模块步骤模块开发之数据采集模块开发之数据预处理点击流模型PageViews表点击流模型visit信息...

【Hadoop离线基础总结】hive的窗口函数

【Hadoop离线基础总结】hive的窗口函数

概述hive中一般求取TopN时就需要用到窗口函数专业窗口函数一般有三个rank()overdenserank()overrow_number()over实例创建一个f_test表拿到以下数据+------------+--------------+-------------+--+|f_test....

【Hadoop离线基础总结】通过Java代码执行Shell命令

【Hadoop离线基础总结】通过Java代码执行Shell命令

需求在实际工作中,总会有些时候需要我们通过java代码通过远程连接去linux服务器上面执行一些shell命令,包括一些集群的状态管理,执行任务,集群的可视化界面操作等等,所以我们可以通过java代码来执行linux服务器的shell命令为了解决上述问题,google公司给提出了对应的解决方案,开源...

【Hadoop离线基础总结】Sqoop常用命令及参数

【Hadoop离线基础总结】Sqoop常用命令及参数

目录常用命令常用公用参数公用参数:数据库连接公用参数:import公用参数:export公用参数:hive常用命令&参数从关系表导入——import导出到关系表——exportcodegencreate-hive-tablejobmerge配合【Hadoop离线基础总结】Sqoop数据迁移一...

【不断更新】mysql经典50道题自我练习

【不断更新】mysql经典50道题自我练习

测试数据和练习题均转载自CSDN博主@启明星的指引的文章sql语句练习50题(Mysql版),用于mysql的每日自我练习表名和字段–1.学生表Student(s_id,s_name,s_birth,s_sex)--学生编号,学生姓名,出生年月,学生性别–2.课程表Course(c_id,c_nam...