1.环境准备:JDK1.8hive2.3.4hadoop2.7.3hbase1.3.3scala2.11.12mysql5.7 2.下载spark2.0.0cd/home/worksapce/softwarewgethttps://archive.apache.org/dist/spark/spa...

原文地址:http://www.cnblogs.com/breg/p/5552342.html装了一个多星期的hiveonspark遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark...

 Hive默认使用MapReduce作为执行引擎，即Hiveonmr，Hive还可以使用Tez和Spark作为其执行引擎，分别为HiveonTez和HiveonSpark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。默认情况下，Hi...

查看hivesource下面的pom.xml，可以找到官方默认发布的hive版本对应的spark版本，在实际部署的时候，最好按照这个版本关系来，这样出现兼容问题的概率相对较小。下面面列出一部分对应关系，在实际部署中可以到github上去查询具体的版本对应关系，地址为https://github.com/apache/h...

我们在上一节讲述了默认的DefaultServer（是一个类型为HttpServer的只读属性）。本节将讲述DefaultHandler（是一个HttpMessageHandler的只读属性）。在WebAPI里默认是的一个HttpRoutingDispatcher类型，它继承于HttpMessageHandler。我们...

本篇文章主要记录最近在使用sparksql时遇到的问题已经使用心得。 1spark2.0.1中，启动thriftserver或者是spark-sql时，如果希望spark-sqlrunonhdfs，那样需要增加参数"--confspark.sql.warehouse.dir=hdfs://HOSTNAME:9...

本教程记录spark1.3.1版本的thriftserver的metastore对接postgresql postgresql的编译，参考：http://www.cnblogs.com/chenfool/p/4530925.html 一启动postgresql服务1首先需要将postgresql的l...

上一篇博客我向大家介绍了如何快速地搭建sparkrunonstandalone，下面我将介绍saprksql如何对接hdfs 我们知道，在sparkshell中操作hdfs上的数据是很方便的，但是操作也未免过于繁琐，幸好spark还想用户提供另外两种操作sparksql的方式一spark-sql启动方式也比较...

之前已经写过很多次部署spark的博客，但是之前部署都是照瓢画葫芦，不得其中的细节，并且以前都是部署sparkonyarn 部署环境scala2.10.2，jdk1.6，spark版本1.3.1下载地址：https://spark.apache.org/downloads.html两台ubuntu14.04x...

spark源码编译scala版本2.11.4os：ubuntu 14.0464位memery3Gspark：1.1.0下载源码后解压1准备环境，安装jdk和scala，具体参考：http://www.cnblogs.com/chenfool/p/3858930.html2编译其实spark官网上说得挺详细的，...

环境：ubuntu14.04,jdk1.6,scala2.11.4,spark1.1.0,hadoop2.5.1 一spark单机模式部分操作参考：http://www.cnblogs.com/chenfool/p/3858930.html，我之前写的spark1.0.1部署1安装scala，具体操作参考我之...

继续学习spark认真查看了一下${SPARK_HOME}/bin/pyspark的脚本，原来开启spark的python交互挺简单的。主要操作exportPYTHONPATH=${SPARK_HOME}/python/:${SPARK_HOME}/python/lib/py4j-0.8.1-src.zip;expor...

环境：Ubuntu12.04，JDK1.6，scala 2.11.1，spark1.0.1，hadoop1.2.1一安装jdk这里不细说了，自行google吧。二安装scalascala官网：http://www.scala-lang.org/index.html，download下来解压tar-zxvf/m...

1.namespace概念namespace:指标识符的各种可见范围。C++标准程序库中的所有标识符都被定义于一个名为std的namespace中。1.<iostream>和<iostream.h>区别：前者没有后缀，实际上，在你的编译器include文件夹里面可以看到，二者是两个文件，打开文件...

测试了一下HikariCP连接池报错，无解十一月16,20175:31:59下午org.apache.catalina.core.StandardContextloadOnStartup严重:Servlet[InitTaskServlet]inwebapplication[]threwload()exceptionor...