我们知道，HBase 为我们提供了hbase-mapreduce工程包含了读取 HBase 表的 InputFormat、OutputFormat 等类。这个工程的描述如下：ThismodulecontainsimplementationsofInputFormat,O...

Apache Spark 和Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用 Spark 分析/查询 HBase 中的数据，而目前Spark内置是支持很多数据源的，其中就包括了HBase，但是内置的读取数据源还是使...

本文将介绍如何在Spark上使用Scala编写快速导入数据到Hbase中的方法。这里将介绍两种方式：第一种使用Put普通的方法来倒数；第二种使用BulkLoadAPI。  使用 org.apache.hadoop.hbase.client.Put 将数据一条一条写入Hbase中，...

大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下：JavaRDD<Integer>myRDD=sc.parallelize(Arrays.asList(1,2,3));Scala版本如下：v...

1.1为什么需要工作流调度系统1）一个完整的数据分析系统通常都是由大量任务单元组成：  shell脚本程序，java程序，mapreduce程序、hive脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。 &em...

1.1、NameNode的元数据备份使用SSD1.2、定时备份NameNode上的元数据  建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。1.3、为NameNode指定多个元数据目录  使用dfs.name.dir或者...

  Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapReduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。回到顶部2.1...

1.1消息队列1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）  点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。2）发布/订阅模式（...

  Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql,postgresql,...)间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据...

1.1、背景表结构在讲解中我们需要贯串一个例子，所以需要设计一个情景，对应还要有一个表结构和填充数据。如下：有3个字段，分别为personId标识某一个人，company标识一家公司名称，money标识该公司每年盈利收入（单位：万元人民币）建表并导入数据：create table company_i...

Solidity语言是一种面向合约的高级编程语言，用于在以太坊区块链网络上实现智能合约。Solidity语言深受c++、Python和JavaScript的影响，针对以太坊(Ethereum)虚拟机(EVM)设计。Solidity语言是静态类型语言，支持继承、库和复杂的用户定义类型。可以使用Solidity语言创建区块...

与传统合同相比，智能合约有一些显著优点：不需要中间人费用低代码就是规则区块链网络中有多个备份，不用担心丢失避免人工错误无需信任，就可履行协议匿名履行协议虽然以太坊(Ethereum)是最流行支持智能合约的区块链平台，但它并不是唯一支持智能合约的平台。超级账本(Hyperledger) 是Linux基金会于20...

以太坊(Ethereum)与其他公共区块链一样，使用工作量证明机制确保区块链网络正常运行。矿工进行工作量证明计算，即挖矿，来选择区块，写入区块链，确认交易。交易过程如下图所示：从技术角度来看，以太坊使用的工作量证明算法称为Ethash，这是一种哈希算法，灵感来自Dagger-Hashimoto算法。...

以太币的主要单位是以太/Ether，即一个以太币，以太币的最小单位是wei。以太币最小单位wei是以虚拟币先驱人物：戴伟WeiDai命名，戴伟WDai是一位兴趣广泛的密码学专家，他在1998年发明了B-money匿名的、分布式的电子加密货币系统，强调点对点的交易和不可更改的交易记录。中本聪发明比特币的时候，借鉴了很多戴...

用途：全节点：用于区块和交易的校验轻节点：电子钱包以太坊(Ethereum)网络是一个公共的区块链网络，网络中包含2种网络节点：全节点轻节点全节点 包含了从初始区块开始的全部区块，这些区块中包含了所有的交易历史记录，这些信息是区块链完整性的证据，可用于区块和交易的校验。通常矿工节点应该是全节点。轻节点&nbs...