spark使用hadoop native库
默认情况下，hadoop官方发布的二进制包是不包含native库的，native库是用C++实现的，用于进行一些CPU密集型计算，如压缩。比如apachekylin在进行预计算时为了减少预计算的数据占用的磁盘空间，可以配置使用压缩格式。默认情况下，启动spark-shell,会有无法加载native库的警告：19/02...
hive on spark的坑
原文地址:http://www.cnblogs.com/breg/p/5552342.html装了一个多星期的hiveonspark遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark...
Spark2.0.0源码编译
Hive默认使用MapReduce作为执行引擎，即Hiveonmr，Hive还可以使用Tez和Spark作为其执行引擎，分别为HiveonTez和HiveonSpark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。默认情况下，Hi...
spark sql 优化心得
本篇文章主要记录最近在使用sparksql时遇到的问题已经使用心得。 1spark2.0.1中，启动thriftserver或者是spark-sql时，如果希望spark-sqlrunonhdfs，那样需要增加参数"--confspark.sql.warehouse.dir=hdfs://HOSTNAME:9...
spark sql 的metastore 对接 postgresql
本教程记录spark1.3.1版本的thriftserver的metastore对接postgresql postgresql的编译，参考：http://www.cnblogs.com/chenfool/p/4530925.html 一启动postgresql服务1首先需要将postgresql的l...
spark sql 对接 HDFS
上一篇博客我向大家介绍了如何快速地搭建sparkrunonstandalone，下面我将介绍saprksql如何对接hdfs 我们知道，在sparkshell中操作hdfs上的数据是很方便的，但是操作也未免过于繁琐，幸好spark还想用户提供另外两种操作sparksql的方式一spark-sql启动方式也比较...
部署spark 1.3.1 standalong模式
之前已经写过很多次部署spark的博客，但是之前部署都是照瓢画葫芦，不得其中的细节，并且以前都是部署sparkonyarn 部署环境scala2.10.2，jdk1.6，spark版本1.3.1下载地址：https://spark.apache.org/downloads.html两台ubuntu14.04x...
Spark 学习(二)
继续学习spark认真查看了一下${SPARK_HOME}/bin/pyspark的脚本，原来开启spark的python交互挺简单的。主要操作exportPYTHONPATH=${SPARK_HOME}/python/:${SPARK_HOME}/python/lib/py4j-0.8.1-src.zip;expor...