1.Hbase根据rowkey查询conf的配置信息如下：conf=newConfiguration();conf.set("hbase.zookeeper.quorum","192.168.50.253:2181");conf.set("hbase.rootdir","hdfs://192.168.50....

思路先统计每个单词出现的个数利用TreeSet的自动&...

1.注意问题：1.在开发过程中一定要导入hbase源码中的lib库否则出现如下错误TableMapReducUtil找不到什么……2.编码：importjava.io.IOException;importjava.text.ParseException;importjava.text.SimpleDateFormat;...

1.推荐系统中的算法：协同过滤:   基于用户user-cf    基于内容item–cfslopone 关联规则（Apriori算法，啤酒与尿布） 2.slopeone算法slopeone算法是基于不同物品之间的评分差的线性算法...

一、常用命令：(hbaseshell进入终端)1.创建表：create'users','user_id','address','info'表users,有三个列族user_id,address,info2.列出全部表list3.得到标的信息describe‘users’4.删除表disable'users'drop'u...

Sqoop课程笔记一、概述1、什么是sqoop？Hadoop的优势在于对数据的存储和处理，相比以前传统的数据库，在处理较较多的数据时，传统数据行业通过提升单机性能以提高处理性能，而且性价比随着性能提高越来越低，在场景下派生出的大数据行业。同样的数据处理，hadoop无论是处理的性能和成本都远低于传统通过单机处理，但是从...

一、安装：1解压然后把mysql的驱动放在$SQOOP_HOME/lib目录中2.conf/sqoop-en.shexportHADOOP_COMMON_HOME=/home/hadoop/hadoop/hadoop-2.3.0exportHADOOP_MAPRED_HOME=/home/hadoop/hadoop/h...

加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令方式1：静态添加datanode，停止namenode方式1.停止namenode2.修改slaves文件，并更新到各个节点3.启动namenode4.执行hadoopbalance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要）----...

Hivemysql的metastore安装准备（***掌握***）在nameNode1机子上实践：把hive-0.12.0.tar.gz解压到/itcast/#tar-zxvfhive-0.12.0.tar.gz-C/itcast修改/etc/profile文件，将hive加入环境变量#vim/etc/profilee...

安装MongoDB的方法有很多种，可以源代码安装，在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快，我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下：1、准备工作运行yum命令查看MongoDB的包信息[root@localhost~]#yuminfomongo-10gen（提...

NoSql简介：　　COUCHDBREDISMONGODBNEO4J　　HBASEBIGTABLE  　　存储非结构化数据　　索引多：单键，多键，数组，全文，2D。MonggoDB数据类型：　　null,boolean,没有int型，内嵌文档,  　　secureCRT ...

 impala是基于hive的大数据实时分析查询引擎，直接使用Hive的元数据库metadata意味着impala元数据都存储在hive的metadstore中并且impala兼容hive的sql解析，实现了hive得sql语义子集，功能还在不断完善中。shell命令impala-shell命令用法：&Osl...

1.pom配置<dependency><groupId>org.apache.storm</groupId><artifactId>storm-core</artifactId><version>0.9.3</version></...

Hadoop之Storm命令1.storm核心概念stream--->一列火车tuple--->一节车厢数据--->乘客spout--->始发站bolt--->中间站点bolt--->中间站点bolt--->终点topology(拓扑)...

nimbus：主节点，负责分发代码，分配任务(只能有一个)supervisor：从节点，负责执行任务(可以有多个)jdkzookeeper(192.168.1.170/171/172)建议在zookeeper的节点上设置一个crontab定时任务，同步时间：*****/usr/sbin/ntpdatetime.nist...