一、RDD概述   1、什么是RDD      RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有...

atorg.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:156)atorg.apache.spark.deploy.history.FsHistoryProvider.<init>(Fs...

如果你在模板中使用了变量但是在代码中没有对变量赋值，那么运行生成时会抛出异常。但是有些时候，有的变量确实是null，怎么解决这个问题呢？判断某变量是否存在:“??”用法为:variable??,如果该变量存在,返回true,否则返回false <#ifaaa??>aaa变量存在<#else&...

内建函数语法格式：变量+?+函数名称  获取集合大小我们通常要得到某个集合的大小，如下图： 我们使用size函数来实现，代码如下：共 ${goodsList?size} 条记录转换JSON字符串为对象我们通常需要将json字符串转换为对象，那如何处理呢？看代码 ...

assign指令此指令用于在页面上定义一个变量（1）定义简单类型：<#assignlinkman="周先生">联系人：${linkman}（2）定义对象类型：<#assigninfo={"mobile":"13301231212",'address':'北京市昌平区王府街'}>电话：${info...

工程引入依赖<dependency><groupId>org.freemarker</groupId><artifactId>freemarker</artifactId><version>2.3.23</version></de...

FreeMarker是一个用Java语言编写的模板引擎，它基于模板来生成文本输出。FreeMarker与Web容器无关，即在Web运行时，它并不知道Servlet或HTTP。它不仅可以用作表现层的实现技术，而且还可以用于生成XML，JSP或Java等。 ...

<!--引入spring-boot-starter-test集成单元测试--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test...

由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spark对应的5.14.0的CDH版本的软件spark的版本还停留在spark1.x，并且CDH版本的spark不支持sparkSQL的功能（sparkSQL模块...

spark的collect是action算子，所有最后会以数组的形式返回给driver端，当数据太大的时候就会出现堆内存溢出。OutofMemoryError:javaheapspace。在spark中默认的数据的存储是1G的大小，spark.default.memory(default1G)解决方案：以saveAsT...

  常用于本地开发测试，本地还分为local单线程和local-cluster多线程;该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。　　其中N代表可以使用N个线程，每个线程拥有一个core。如...

介绍崔晓源翻译我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律，比如计算机中的指令顺序，句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。首先，本文会介绍声称概率模式的系统，用来预测天气的变化然后，我们会分析这样一个系统，我们希望预测的状态是隐藏在表象之后的，并不是我...

转载;https://www.jianshu.com/p/191d1e21f7edMarkdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。相比WYSIWYG编辑器优点：1、因为是纯文本，所以只要支持Markdown的地方都能获得一样的编辑效果，可以让作者摆脱排版的困扰，专心写...

一、CSS选择器之兄弟选择器（~和+）　　以前还没注意，兄弟元素选择器~和+的区别：　　‘+’选择器：表示某元素后相邻的兄弟元素，也就是紧挨着的，是单个的。　　‘~’选择器：则表示某元素后所有同级的指定元素，强调所有的。二、forEach无法return或break跳出循环的替换方法　　我们都知道for循环里要跳出整个...

转自fu*k原文数据可视化之MarkPoint      MarkPoint是什么效果？如上图，一闪一闪亮晶晶的效果，这是在Echarts中对应的效果。我最早看到的是腾讯的一个Flash的版本，显示当前QQ在线人数的全国分布效果，感觉效果很炫，当时也在想，怎么...