一、Hadoop相关工具　　1.Hadoop　　Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。　　支持的操作系统：Windows、Linux和OSX。　　相关链接：http://hadoop.apache.org　　2.Amba...

 1Java基础：   视频方面：     推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。&nb...

相信很多小伙伴平时写python的时候都是需要调试程序的，出问题了，需要了解函数内部是怎么跑的，而这个时候很多人都会想到在疑惑的地方使用print函数来打印一下参数来调试。虽然用print也是不失为是一种方法，但是有时如果疑惑的地方多就要每个地方都要加print，这样就显得比较麻烦了。今天发现在Github开源了一个神...

  sqoop是什么：在关系数据库和hadoop之间数据的相互转换的工具。安装：原生安装：appache１．解压安装，２．重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh为sqoop-env.sh３．修改sqoop-env.sh配置：填写Hadoop，hba...

8.1Hadoop源码编译支持Snappy压缩8.1.1资源准备1、CentOS联网  配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的。  注意：采用root角色编译，减少文件夹权限出现问题。2、jar包准备(hadoop源码、JDK8、m...

  https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*]&...

1.1什么是Hive  Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。  Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。  本质是：将HQL转化成MapReduc...

4.1创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加ifnotexists判断。（标...

问题导读：1、如何理解列裁剪和分区裁剪？2、sortby代替orderby优势在哪里？3、如何调整groupby配置？4、如何优化SQL处理join数据倾斜？Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、M...

问题导读1. Centos7如何安装配置？2. linux网络配置如何进行？3. linux环境下java 如何安装？4. linux环境下SSH免密码登录如何配置？5. linux环境下Hadoop2.7 如何安装？6. linux环境下...

查看所有数据库showdatabases; 1查看当前使用的数据库selectdatabase(); 1创建数据库createdatabases数据库名charset=utf8; 5.删除数据库dropdatabase数据库名 16.使用数据句库usedatabase数据库名&n...

 ...

JavaScript语言的一大特点就是单线程，也就是说，同一个时间只能做一件事。那么，为什么JavaScript不能有多个线程呢？这样能提高效率啊。JavaScript的单线程，与它的用途有关。作为浏览器脚本语言，JavaScript的主要用途是与用户互动，以及操作DOM。这决定了它只能是单线程，否则会带来很复杂的同步...

OSX/iOS系统中，提供了两个这样的对象：NSRunLoop和CFRunLoopRef。CFRunLoopRef是在CoreFoundation框架内的，它提供了纯C函数的API，所有这些API都是线程安全的。NSRunLoop是基于CFRunLoopRef的封装，提供了面向对象的API，但是这些API不是线程安全的...

Spark读取JSON文件时运行报错java.io.IOException:Couldnotlocateexecutablenullinwinutils.exeintheHadoopbinaries. 需要文件百度网盘链接点击进入提取码:eku1先把winutils.exe文件放入hadoop的bin目录里...