转载：https://blog.csdn.net/Daybreak1209/article/details/80591566应用一：方法入参校验由于系统多个方法入参均对外封装了统一的Dto，其中Dto中几个必传参数在每个方法中都会进行相同的校验逻辑。笔者考虑采用SpringAOP进行优化，拦截方法进行参数校验。测试ca...

kafka_start_cluster.sh#!/bin/bashbrokers="kafka-server-1kafka-server-2kafka-server-3"KAFKAHOME="/usr/local/software/kafka/kafka2.11-2.1.0"echo"INFO:Begintostart...

https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-optimization-practice.html 文章对性能优化的思路，如果评测性能，找到性能瓶颈，优化，优化效果评估，上线部署给出了很好的教科书式的案例，值得一看...

1.ScenariodescriptionwhenIusesqooptoimportmysqltableintohive,Igotthefollowingerror:19/07/1215:41:35WARNhcat.SqoopHCatUtilities:TheSqoopjobcanfailiftypesarenotas...

一、什么是AOPAOP（AspectOrientedProgramming），即面向切面编程，可以说是OOP（ObjectOrientedProgramming，面向对象编程）的补充和完善。OOP引入封装、继承、多态等概念来建立一种对象层次结构，用于模拟公共行为的一个集合。不过OOP允许开发者定义纵向的关系，但并不适合...

withSpout在spark中是用来做DAG可视化的，它在代码里的用法如下（以map为例，spark2.0.0版本）defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD[U,T](this,(co...

默认情况下，hadoop官方发布的二进制包是不包含native库的，native库是用C++实现的，用于进行一些CPU密集型计算，如压缩。比如apachekylin在进行预计算时为了减少预计算的数据占用的磁盘空间，可以配置使用压缩格式。默认情况下，启动spark-shell,会有无法加载native库的警告：19/02...

https://www.cnblogs.com/edisonchou/category/542546.html...

HtmlCleanerCleanerProperties参数配置ParameterDefaultExplanationadvancedXmlEscapetrueIf this parameter is set to true, ampersand&n...

1.本地模式本地模式的安装将hadoop安装包解压后不用任何配置就是默认的本地模式此时core-site.xml,hdfs-site.xml,marped.site.xml三个配置文件都为空此时没有hdfs文件系统，可以执行mapreducehadoopfs-ls/会列出本地的linux文件系统 2.伪分布式...

主要配置core-site.xml  hdfs-site.xml mapred-site.xml ...

1.Hive支持行级别的查询，数据更新，不支持多行事务；2.Hive有两种数据库，Derby内置的mysql或其他  3.连接MySQL时，需要将mysql-jdbc的驱动包放入hive的lib目录下4.变量和属性 四种命名空间：  hivavar:用户自定义变量空间&...

关于不能执行Hadoop命令 并报权限问题执行错误1、Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-xmkdir: Permission ...

为了方便新手入门，我们准备了两篇不同系统的Hadoop伪分布式配置教程。但其他Hadoop教程我们将不再区分，可同时适用于Ubuntu和CentOS/RedHat系统。例如本教程以Ubuntu系统为主要演示环境，但对Ubuntu/CentOS的不同配置之处、CentOS6.x与CentOS7的操作区别等都会尽量给出注明...

本教程使用 CentOS6.432位 作为系统环境，请自行安装系统（可参考使用VirtualBox安装CentOS）。如果用的是Ubuntu系统，请查看相应的 Ubuntu安装Hadoop教程。本教程基于原生Hadoop2，在 Hadoop2.6.0(stable) 版...