51dev.com IT技术开发者社区

51dev.com 技术开发者社区

热点资讯 HotNews

  • 三星为Note 7道歉会挽回现今颓势吗?三星为Note 7道歉会挽回现今颓势吗?
  • 58到家的上门O2O独角戏还能唱多久?58到家的上门O2O独角戏还能唱多久?
  • 1
  • 2
hadoop 集群  加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令

hadoop 集群 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令

加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令方式1:静态添加datanode,停止namenode方式1.停止namenode2.修改slaves文件,并更新到各个节点3.启动namenode4.执行hadoopbalance命令。(此项为balance集群使用,如果只是添加节点,则此步骤不需要)----...

大数据之sqoop

大数据之sqoop

一、安装:1解压然后把mysql的驱动放在$SQOOP_HOME/lib目录中2.conf/sqoop-en.shexportHADOOP_COMMON_HOME=/home/hadoop/hadoop/hadoop-2.3.0exportHADOOP_MAPRED_HOME=/home/hadoop/hadoop/h...

大数据之pig安装

大数据之pig安装

大数据之pig安装 1.下载  pigdownload 2.解压安装mapreduce模式安装:1:设置HADOOP_HOME,如果pig所在节点不是集群中的节点,那就需要把集群中使用的hadoop的安装包拷贝过来一份。exportHADOOP_HOME=/usr/local/hadoop-2.6....

大数据之pig 命令

大数据之pig 命令

1.pig与hive的区别pig和hive比较类似的,都是类sql的语言,底层都是依赖于hadoop   走的mapreduce任务。   pig和hive的区别就是,想要实现一个业务逻辑的话,使用pig需要一步一步操作   而使...

大数据之Ganglia安装1

大数据之Ganglia安装1

0、前期准备修改主机名、ip、iptables关闭;时间同步:ntpdate-stime.windows.com;软件准备ganglia-3.7.1.tar.gz、ganglia-web-3.7.0.tar.gz地址:http://ganglia.info/?page_id=66confuse-2.7.tar.gz地址...

大数据之Ganglia

大数据之Ganglia

1.什么是ganglia一个开源集群监视项目;Ganglia可以做系统监控,但是,目前它不支持服务器异常或故障报警功能。2.Ganglia监控集群架构Ganglia集群主要是由gmond、gmetad、gweb这3个守护进程组成,其中gmetad进程相当于监控集群的master。而多个gmond进程可以进行分组,每个分...

Linux 之安装文件

Linux 之安装文件

1.首先要检查rpm-qgccglibcglibc-commonrrdtoolrrdtool-develexpatexpat-develpcrepcre-develdejavu-lgc-sans-mono-fontsdejavu-sans-mono-fontszlib-develpcrepcre-develaprapr...

数据挖掘书籍

数据挖掘书籍

http://blog.csdn.net/dream_angel_z/article/details/44773801...

CDH集群中YARN的参数配置

CDH集群中YARN的参数配置

CDH集群中YARN的参数配置前言:Hadoop2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中,同时集成了MapReduceV1和MapReduceV2(Yarn)两个版本,如果集群中...

Spark之Streaming

Spark之Streaming

1.socket消息发送importjava.net.ServerSocketimportjava.io.PrintWriterimportscala.collection.mutable.ListBufferimportjava.util.Random/***Createdbyzzyon8/28/15.*//***模...

Hadoop之Hive 安装_(hadoop 集群)

Hadoop之Hive 安装_(hadoop 集群)

Hivemysql的metastore安装准备(***掌握***)在nameNode1机子上实践:把hive-0.12.0.tar.gz解压到/itcast/#tar-zxvfhive-0.12.0.tar.gz-C/itcast修改/etc/profile文件,将hive加入环境变量#vim/etc/profilee...

大数据处理时用到maven的repository

大数据处理时用到maven的repository

 由于做数据处理时,经常遇到maven下载依赖包错误,下面我将自己下载好的repository分享下里边包含:Hadoop,storm,sprk,kafka,等压缩后500多M。 http://pan.baidu.com/s/1pJN2ScV 如有问题请联系:chaoren399@126....

Spak之开发代码 _pom 配置

Spak之开发代码 _pom 配置

1.sparkonyarnimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._/***Createdbyzzyon8/27/15.*/objectSaprkOnYarn{defmain(args:Array[String]){i...

Spark之命令

Spark之命令

Spark之命令1.spark运行模式有4种:a.local多有用测试,b.standalone:spark集群模式,使用spark自己的调度方式。c.Yarn:对MapreduceV1升级的经典版本,支持spark。d.Mesos:类似Yarn的资源调度框架,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行...

Spark之集群搭建

Spark之集群搭建

注意,这种安装方式是集群方式:然后有常用两种运行模式:standalone,onyarn 区别就是在编写standalone与onyarn的程序时的配置不一样,具体请参照spar2中的例子.提交方式:standalonespark-submit--classtestkmeans.KMeans_jiespark...