好的Linux运维工程师区分在效率上。如果一位高效的Linux运维工程师能在10分钟内完成一件他人需要2个小时才能完成的任务，那么他应该受到奖励（得到更多报酬），因为他为公司节约了时间，而时间就是金钱，不是吗？技巧是为了提高管理效率。虽然本文不打算对所有 技巧进行讨论，但是我会介绍“懒惰”管理员所用的10个基...

Linux平台上的性能工具有很多，眼花缭乱，长期的摸索和经验发现最好用的还是那些久经考验的、简单的小工具。系统性能专家BrendanD.Gregg在LinuxConNA2014大会上更新了他那个有名的关于Linux性能方面的talk(LinuxPerformanceTools)和幻灯片。下面的三张图片分别总结了Linu...

1、nethogs1)NetHogs是一款开源、免费的，终端下的网络流量监控工具，它可监控Linux的进程或应用程序的网络流量。NetHogs只能实时监控进程的网络带宽占用情况。NetHogs支持IPv4和IPv6协议，支持本地网卡以及PPP链接2)debian下安装apt-getinstallnethogscento...

  sqoop是什么：在关系数据库和hadoop之间数据的相互转换的工具。安装：原生安装：appache１．解压安装，２．重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh为sqoop-env.sh３．修改sqoop-env.sh配置：填写Hadoop，hba...

MongoDB的文档模型自由灵活，可以让你在开发过程中畅顺无比。对于大数据量、高并发、弱事务的互联网应用，MongoDB可以应对自如。MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力，完全可以满足Web2.0和移动互联网的数据存储需求，其开箱即用的特性也大大降低了中小型网站的运维成本。对于创业团队...

  1.flume简介Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。2.安装和使用说明:...

各种开发环境的搭建，其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程，其实可以通过文本或则cmd即可。还有maven，sbt等。后来的发展过程中，为了更加方便我们编程，于是发展出来了，更高级的编程工具，Java有eclipse等工具，而Scala有IntelliJIDEA.当然eclipse也可以写Sca...

Kylinv3.1引入了Flinkcubeengine，在buildcube步骤中使用ApacheFlink代替MapReduce；您可以查看 KYLIN-3758 了解具体信息。当前的文档使用样例cube对如何尝试newengine进行了演示。您需要一个安装了Kylinv3.1.0及以上版本的Ha...

以Spark-Client模式运行，Spark-Submit时出现了下面的错误：User:hadoopName:SparkPiApplicationType:SPARKApplicationTags:YarnApplicationState:FAILEDFinalStatusReportedbyAM:FAILEDSta...

一：在linux下安装java环境（自行安装jdk）二：安装Scala2.9.3$tar-zxfscala-2.9.3.tgz$sudomvscala-2.9.3/usr/lib$sudovim/etc/profile#addthefollowinglinesattheendexportSCALA_HOME=/usr/...

该教程主要面向Zeppelin的入门者。不需要太多的关于Linux,git,或其它工具的基础知识。如果你按照这里的方法逐项执行，就可以将Zeppelin正常运行起来。安装Zeppelin为Flink/Spark集群模式本教程假定用户有一个新的机器环境(物理机或 virtual 均可,最小安装&nbs...

HDP版本：2.6.4.0Kylin版本：2.5.1机器：三台CentOS-7，8G内存Kylin的计算引擎除了MapReduce，还有速度更快的Spark，本文就以Kylin自带的示例kylinsalescube来测试一下Spark构建Cube的速度。一、配置Kylin的相关Spark参数在运行Sparkcubing...

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。ApacheKylin官网：http://kylin.apache.org/Kylin的官网上每个版本的都提供...

市场上免费大数据框架主要有三个版本，原生的Apache版本，Cloudera(https://www.cloudera.com/)公司研发的（ClouderaDistributionHadoop，简称“CDH”）CDH版本，也是市场上使用最多的，Hortonworks版本（Hortonworks...

1.1版本选择cdh版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/软件名称版本JDK1.8HADOOPHadoop2.6.0-cdh5.10ZOOKEERER3.4.5HBASEHbase1.2.0-cdh5.10HIVEHive1.2.0-cdh5.10KAFKAKafk...