https://www.cppentry.com/bencandy.php?fid=115&id=223457一、HDFS的Shell的基本概念1.调用文件系统(FS)Shell命令应使用bin/hadoopfs命令或 bin/hdfsdfs 命令的形式。[为了简便，一般将bin目录添加到p...

转：https://blog.csdn.net/yan_qinglong/article/details/11618767Hadoop生态系统以及版本衍化hadoop生态系统特点   1、源代码开源(免费)   2、社区活跃、参与者众多  ...

注意:这种方式需要JDK1.8版本支持 开始:http://www.cnblogs.com/wing7319/p/9592184.html1.aop配置: <aop:aspectj-autoproxyexpose-proxy="true"/>注意该配置需要配置在springmvc的配置文...

转载：https://blog.csdn.net/Daybreak1209/article/details/80591566应用一：方法入参校验由于系统多个方法入参均对外封装了统一的Dto，其中Dto中几个必传参数在每个方法中都会进行相同的校验逻辑。笔者考虑采用SpringAOP进行优化，拦截方法进行参数校验。测试ca...

kafka_start_cluster.sh#!/bin/bashbrokers="kafka-server-1kafka-server-2kafka-server-3"KAFKAHOME="/usr/local/software/kafka/kafka2.11-2.1.0"echo"INFO:Begintostart...

https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-optimization-practice.html 文章对性能优化的思路，如果评测性能，找到性能瓶颈，优化，优化效果评估，上线部署给出了很好的教科书式的案例，值得一看...

1.ScenariodescriptionwhenIusesqooptoimportmysqltableintohive,Igotthefollowingerror:19/07/1215:41:35WARNhcat.SqoopHCatUtilities:TheSqoopjobcanfailiftypesarenotas...

一、什么是AOPAOP（AspectOrientedProgramming），即面向切面编程，可以说是OOP（ObjectOrientedProgramming，面向对象编程）的补充和完善。OOP引入封装、继承、多态等概念来建立一种对象层次结构，用于模拟公共行为的一个集合。不过OOP允许开发者定义纵向的关系，但并不适合...

withSpout在spark中是用来做DAG可视化的，它在代码里的用法如下（以map为例，spark2.0.0版本）defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD[U,T](this,(co...

默认情况下，hadoop官方发布的二进制包是不包含native库的，native库是用C++实现的，用于进行一些CPU密集型计算，如压缩。比如apachekylin在进行预计算时为了减少预计算的数据占用的磁盘空间，可以配置使用压缩格式。默认情况下，启动spark-shell,会有无法加载native库的警告：19/02...

https://www.cnblogs.com/edisonchou/category/542546.html...

HtmlCleanerCleanerProperties参数配置ParameterDefaultExplanationadvancedXmlEscapetrueIf this parameter is set to true, ampersand&n...

1.本地模式本地模式的安装将hadoop安装包解压后不用任何配置就是默认的本地模式此时core-site.xml,hdfs-site.xml,marped.site.xml三个配置文件都为空此时没有hdfs文件系统，可以执行mapreducehadoopfs-ls/会列出本地的linux文件系统 2.伪分布式...

主要配置core-site.xml  hdfs-site.xml mapred-site.xml ...

1.Hive支持行级别的查询，数据更新，不支持多行事务；2.Hive有两种数据库，Derby内置的mysql或其他  3.连接MySQL时，需要将mysql-jdbc的驱动包放入hive的lib目录下4.变量和属性 四种命名空间：  hivavar:用户自定义变量空间&...