margin:25px50px75px100px;上边距为25px右边距为50px下边距为75px左边距为100pxmargin:25px50px75px;上边距为25px左右边距为50px下边距为75pxmargin:25px50px;上下边距为25px左右边距为50pxmargin:25px;所有的4个边距都是25...

欢迎转载【作者：张佩】【原文：http://www.yiiyee.cn/Blog/wddm2/】第二部分专门只讲VIDPN。这是后面内容的基础。WDDM框架用VIDPN这个概念，来描述它所要处理的显示关系。VIDPN的全称是VideoPresentNetwork，这个因为词组不太好翻译（直译可以是：视频提交网络，但颇为...

需求：数据结构：时间戳，省份，城市，用户，广告，中间字段使用空格分割。 样本如下：151660914386767641615166091438699475181516609143869178712 思路分析如下：第一步：过滤无关的数据字段，只留下省份，广告第二步：省份与广告可以组成一个key，val...

 （1）添加依赖<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><versio...

在实际开发中我们往往需要自己定义一些对于RDD的操作，那么此时需要考虑的主要问题是，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，这就涉及到了跨进程通信，是需要序列化的。  传递一个方法importorg.apache.spark.rdd.RDDclassSearc...

reduce(func)通过func函数聚集RDD中的所有元素并得到最终的结果，先聚合分区内数据，再聚合分区间数据。Func函数决定了聚合的方式。defmain(args:Array[String]):Unit={valsc:SparkContext=newSparkContext(newSparkConf().set...

 RDD的分区器Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。注意：(1)只有Key-Value类型的RDD才有分区器的，非Key-Va...

RDD的创建1）从内存中创建从集合中创建RDD，Spark主要提供了两种函数：parallelize和makeRDDvalraw:RDD[Int]=sc.parallelize(1to16)valraw:RDD[Int]=sc.makeRDD(1to16) 2）从外部文件中创建valline:RDD[Stri...

这里所有算子均只适用于pairRDD。pairRDD的数据类型是（k，v）形式的键值对； PartitionBy(Partitioner)对pairRDD进行分区操作，如果原有的partioner和现有的partioer是一致的话就不进行分区， 否则会生成ShuffleRDD，即会产生shuffle...

map(func)返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成。有多少个元素，func就被执行多少次。 mapPartitions(func)类似于map，但是，map函数是独立地在RDD的每一个分区上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T...

什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象（其实是计算抽象）。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。不可变：数据一旦写入，不可更改；联想到java中的String类型，执行replace方法，它会返...

RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下persist()会把数据以序列化的形式缓存在JVM的堆空间中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD的计算结果将会被缓存在计算节点的内存中，并供后面重用。示例如下：defmain(args:Array...

概述RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。示例代码如下：defmain(args:Array...

字典树(查找树)26个分支作用：检测字符串是否在这个字典里面插入、查找字典树与哈希表的对比：时间复杂度：以字符来看：O(N)、O(N)以字符串来看：O(1)、O(1)空间复杂度：字典树远远小于哈希表前缀相关的题目字典树优于哈希表字典树可以查询abc是否有ab的前缀字典树常考点：1.字典树实现2.利用字典树前缀特性解题3...

328.OddEvenLinkedList自己最开始的思路：用两个指针分别指向奇偶位置，然后交换两个的数值，然后奇的指针前进两格，偶的指针前进一格，但是这样出来的结果会造成原本偶位置的数之间的顺序打乱正确的思路：也是用奇偶指针，但是是将偶后面的链表节点移动到奇后面，这样不发生顺序的变换。当前的两个指针分别指向当前排好的...