SparkSQL(五)——数据源
通用加载保存方法SparkSQL的默认数据源为Parquet格式。数据源为Parquet文件时，SparkSQL可以方便的执行所有的操作。修改配置项spark.sql.sources.default，可修改默认数据源格式。此时，可以使用spark.read.load和spar.write.save方法，分别从parqu...
SparkSQL(四)——用户自定义函数
用户自定义聚合函数强类型的Dataset和弱类型的DataFrame都提供了相关的聚合函数，如 count()，countDistinct()，avg()，max()，min()。除此之外，用户可以设定自己的自定义聚合函数。 弱类型用户自定义聚合函数通过继承UserDefinedAggr...
SparkSQL(三)——idea开发SparkSQL程序
首先导入maven依赖<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version&...
SparkSQL(二)——基本操作
SparkSession新的起点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的...
spark安装和使用
local模式概述local模式就是在一台计算机上运行spark程序，通常用于在本机上练手和测试，它将线程映射为worker。 1）local:所有计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式;2）local[K]:指定使用几个线程来运行计算，...
SparkStreaming入门到实战之(17)--大数据场景下数据异构之 Mysql实时写入HBase（借助canal kafka SparkStreaming）
背景：公司线下ETC机房有个Mycat集群，供订单系统使用，现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型：binlog解析工具：阿里开源的canal 消息中间件：kafka 流式框架：SparkStreaming上代码...
SparkStreaming入门到实战之(16)--基于Spark Streaming + Canal + Kafka对Mysql增量数据实时进行监测分析
1.Canal是什么？2.如何编写Canal客户端？3.如何编写一个数据库操作的Spark程序代码？4.开发Spark项目时容易发生哪些冲突问题？Spark中的SparkStreaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时分析处理MySQL中的...