51Dev开发社区
登录 注册
为你推荐

【Hadoop离线基础总结】流量日志分析网站整体架构模块开发
目录数据仓库设计维度建模概述维度建模的三种模式本项目中数据仓库的设计ETL开发创建ODS层数据表导入ODS层数据生成ODS层明细宽表统计分析开发流量分析受访分析访客visit分析关键路径转化率分析（漏斗模型）级联求和流量日志分析网站整体架构模块的整体步骤为下图关于数据采集模块和数据预处理的开发在【Hadoop离线基础总...
代码星球·2020-08-09

【Hadoop离线基础总结】关键路径转化率分析（漏斗模型）
需求在一条指定的业务流程中，各个步骤的完成人数及相对上一个步骤的百分比模型设计定义好业务流程中的页面标识Step1、/itemStep2、/categoryStep3、/indexStep4、/orderCREATETABLEdw_oute_numbsASSELECT'step1'ASstep,COUNT(DISTIN...
代码星球·2020-08-09

【Hadoop离线基础总结】Hive级联求和
建表CREATETABLEt_salary_detail(usernamestring,monthstring,salaryINT)ROWformatdelimitedFIELDSTERMINATEDBY',';导入数据LOADDATALOCALinpath'/export/servers/hivedatas/clic...
代码星球·2020-08-09

【Hadoop离线基础总结】网站流量日志数据分析系统
目录点击流数据模型概述点击流模型网站流量分析网站流量模型分析网站流量来源网站流量多维度细分网站内容及导航分析网站转化及漏斗分析流量常见分析角度和指标分类指标概述指标分类分析角度流量日志分析网站整体架构模块步骤模块开发之数据采集模块开发之数据预处理点击流模型PageViews表点击流模型visit信息表点击流数据模型概述...
代码星球·2020-08-09

【Hadoop离线基础总结】hive的窗口函数
概述hive中一般求取TopN时就需要用到窗口函数专业窗口函数一般有三个rank()overdenserank()overrow_number()over实例创建一个f_test表拿到以下数据+------------+--------------+-------------+--+|f_test.id|f_test....
代码星球·2020-08-09

【Hadoop离线基础总结】通过Java代码执行Shell命令
需求在实际工作中，总会有些时候需要我们通过java代码通过远程连接去linux服务器上面执行一些shell命令，包括一些集群的状态管理，执行任务，集群的可视化界面操作等等，所以我们可以通过java代码来执行linux服务器的shell命令为了解决上述问题，google公司给提出了对应的解决方案，开源出来了一个jar包叫...
代码星球·2020-08-09

【Hadoop离线基础总结】Sqoop常用命令及参数
目录常用命令常用公用参数公用参数：数据库连接公用参数：import公用参数：export公用参数：hive常用命令&参数从关系表导入——import导出到关系表——exportcodegencreate-hive-tablejobmerge配合【Hadoop离线基础总结】Sqoop数据迁移一起阅读更佳常用命令常...
代码星球·2020-08-09

【不断更新】mysql经典50道题自我练习
测试数据和练习题均转载自CSDN博主@启明星的指引的文章sql语句练习50题(Mysql版)，用于mysql的每日自我练习表名和字段–1.学生表Student(s_id,s_name,s_birth,s_sex)--学生编号,学生姓名,出生年月,学生性别–2.课程表Course(c_id,c_name,t_id)–--...
代码星球·2020-08-09

【Hadoop离线基础总结】Sqoop数据迁移
目录Sqoop介绍概述版本Sqoop安装及使用Sqoop安装Sqoop数据导入导入关系表到Hive已有表中导入关系表到Hive（自动创建Hive表）将关系表子集导入到HDFS中sql语句查找导入到HDFS两种增量导入方式Sqoop的数据导出Sqoop介绍概述Sqoop是Apache开源提供过的一款Hadoop和关系数据...
代码星球·2020-08-09

【Hadoop离线基础总结】工作流调度器azkaban
目录Azkaban概述工作流调度系统的作用工作流调度系统的实现常见工作流调度工具对比Azkaban简单介绍安装部署Azkaban的编译azkaban单服务模式安装与使用azkaban两个服务模式安装与使用使用多job工作流flowHDFS操作任务MAPREDUCE任务HIVE脚本任务定时任务Azkaban概述工作流调度...
代码星球·2020-08-09

【Hadoop离线基础总结】日志采集框架Flume
Flume介绍概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。它可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据sink（下沉）到HDFS、hbase、hive、kafka等众多外部存储系统中，因此，flume可以适用于大部分的日常数据采集场景...
代码星球·2020-08-09

【Hadoop离线基础总结】Hive调优手段
最常用的调优手段Fetch抓取MapJoin分区裁剪列裁剪控制map个数以及reduce个数JVM重用数据压缩Fetch的抓取出现原因Hive中对某些情况的查询不必使用MapReduce计算。在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。（原则就是能不用MapRe...
代码星球·2020-08-09

【Hadoop离线基础总结】Hive的基本操作
创建数据库与创建数据库表创建数据库的相关操作创建数据库：CREATETABLEIFNOTEXISTSmyhivehive创建表成功后的存放位置由hive-site.xml配置文件中的一个属性指定<name>hive.metastore.warehouse.dir</name><value&...
代码星球·2020-08-09

【Hadoop离线基础总结】Hive的安装部署以及使用方式
安装部署Derby版hive直接使用cd/export/softwares将上传的hive软件包解压：tar-zxvfhive-1.1.0-cdh5.14.0.tar.gz-C../servers/cd/export/servers/hive-1.1.0-cdh5.14.0/启动：bin/hive缺点：多个地方安装hi...
代码星球·2020-08-09

【Hadoop离线基础总结】数据仓库和hive的基本概念
数据仓库概述数据仓库英文全称为DataWarehouse，一般简称为DW。主要目的是构建面向分析的集成化数据环境，主要职责是对仓库中的数据进行分析，支持我们做决策。主要特征面向主题（Subject-Oriented）：数据分析有一定的范围，需要选取一定的主题进行分析。集成性（Integrated）：集成各个其他方面关联...
代码星球·2020-08-09
首页上一页...50865087508850895090...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他