原文地址：http://blog.csdn.net/xiaowei_cqu/article/details/8067881 自然界中的物体随着观测尺度不同有不同的表现形态。例如我们形容建筑物用“米”，观测分子、原子等用“纳米”。更形象的例子比如Google地图，滑动鼠标轮可以改变观测地图的尺度，看到的地图绘制...

基于源码版本号0.67，【Seaweedfs以前旧版叫Weedfs】。Seaweedfs 是一个非常优秀的由golang开发的分布式存储开源项目，虽然在我刚开始关注的时候它在github.com上面只有star50+，但是我觉得这个项目是一个几千star量级的优秀开源项目。 Seaweedfs&nb...

阅读源码的过程，就像是在像武侠小说里阅读武功秘籍一样，分析高手的一招一式，提炼出精髓，来增强自己的内力。之前的帖子说了一下微服务的雪崩效应和常见的解决方案，太水，没有上代码怎么叫解决方案。github上有很多开源的库来解决雪崩问题，比较出名的是Netflix的开源库hystrix。集流量控制、熔断、容错等于一身的jav...

笔者最近在项目中基于go-redis实现Redis缓存优化性能。go-redis是一个Go语言实现的Redis客户端，既然是网络服务的客户端，为了高效利用有限资源，避免重复创建和销毁网络连接，就必需对其进行管理。而资源管理又是编程领域中的一个重点难点，抱着对是否能利用Go语言语法简洁的特点来优雅实现连接池的好奇，笔者决...

csrf保护基于以下: 1.一个CSRFcookie基于一个随机生成的值，其他网站无法得到。此cookie由CsrfViewMiddleware产生。它与每个调用django.middleware.csrf.get_token()（这是一个用于取回CSRFtoken的方法）的响应一起发送，如果它尚未在请求上设...

1.文档是最先需要了解的，读完文档可能会有很多的意外的收获同时也会留下疑惑，对于一般的使用我觉得读完文档就差不多了，除非一些很有疑惑的地方你可能需要再深入的了解一下。我读文档的目的第一个就是为了找出疑惑然后带着疑惑去读源码，还有一个目的就是为了后面读源码提供指导。2.multiprocessing.Process类是m...

Python为网络编程提高了更高级的封装。SocketServer.py提供了不少网络服务的类。它们的设计很优雅。Python把网络服务抽象成两个主要的类，一个是Server类，用于处理连接相关的网络操作，另外一个则是RequestHandler类，用于处理数据相关的操作。并且提供两个MixIn类，用于扩展Server...

目录1.前言2.gomap的数据结构2.1核心结体体2.2数据结构图3.gomap的常用操作3.1创建3.2插入或更新3.3删除3.4查找3.5range迭代3.5.1初始化迭代器mapiterinit()3.5.2迭代过程mapiternext()4.gomap的扩容缩容4.1扩容缩容的基本原理4.2为什么叫&ldq...

==========Spark通信架构==========1、spark一开始使用akka作为网络通信框架，spark2.X版本以后完全抛弃akka，而使用netty作为新的网络通信框架。最主要原因：spark对akka没有维护，需要akka更新，spark的发展受到了akka的牵制，akka版本之间无法通信，即akk...

问题导读1，如何保存接收到的数据？2，如何处理接收到的数据？3，调用get或Compute方法获得RDD的流程有什么？这一章要讲SparkStreaming，讲之前首先回顾下它的用法，具体用法请参照《SparkStreaming编程讲解》。1、示例代码分析valssc=newStreamingContext(spark...

问题导读1、yarn提交作业的流程是怎样的？2、run方法在ApplicationMaster里面主要干了什么工作？3、把作业发布到yarn上面去执行，涉及到哪些类？本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Sparkonyarn的实现，1.0.0里面已经是一个stable的版本了，可...

问题导读：1.描述作业生命周期？2.资源是如何调度的？这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，letyouknow！  我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，R...

问题导读：1.如何进行作业划分？2.TaskScheduler如何提交Task？ 1、作业执行上一章讲了RDD的转换，但是没讲作业的运行，它和DriverProgram的关系是啥，和RDD的关系是啥？官方给的例子里面，一执行collect方法就能出结果，那我们就从collect开始看吧，进入RDD，找到col...

问题导读：1.什么是RDD?2.如何实现RDD转换？ 1、什么是RDD？上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数据集，每...

问题导读：1.spark是如何提交作业的？2.Akka框架是如何实现的？3.如何实现调度的？前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。 这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Drive...