好久没更新博客了。正好最近要整理一下最近这段时间做过的项目以及学习python的一些心得。如标题所示，今天就来说说windows下多进程加协程并发模式。其实网上还是蛮多在linux下的多进程加协程并发模式，本身linux对python的支持更好吧。但是由于本人的开发环境是windows的，而且网上关于这方面的资料还是少...

https://zh.wikipedia.org/zh-cn/%E5%8D%8F%E7%A8%8B协程可以理解为线程中的微线程，通过手动挂起函数的执行状态，在合适的时机再次激活继续运行，而不需要上下文切换。所以在python中使用协程会比线程性能更好。Tornado协程http://blog.csdn.net/wyx8...

前面讲了为什么python里推荐用多进程而不是多线程，但是多进程也有其自己的限制：相比线程更加笨重、切换耗时更长，并且在python的多进程下，进程数量不推荐超过CPU核心数（一个进程只有一个GIL，所以一个进程只能跑满一个CPU），因为一个进程占用一个CPU时能充分利用机器的性能，但是进程多了就会出现频繁的进程切换，...

上一篇博客中我介绍了如何将爬虫改造为多进程爬虫，但是这种方法对爬虫效率的提升不是非常明显，而且占用电脑cpu较高，不是非常适用于爬虫。这篇博客中，我将介绍在爬虫中广泛运用的多线程+协程的解决方案，亲测可提高效率至少十倍以上。本文既然提到了线程和协程，我觉得有必要在此对进程、线程、协程做一个简单的对比，了解这三个程之间的...

当你的系统存在一些IO或网络请求较久的操作时,如果以默认的方式启动uwsgi服务,那么如果这类请求过多的时候,所以进程被卡死.uwsgi就无法再对后续请求做处理了.这时可以用gevent的方式跑起uwsgi服务,这样当某个请求在IO或网络请求中时,uwsgi进程可以去处理其他的请求.如果环境没装gevent的话需要先安...

python网络库也有了基于协程的实现，比较著名的是gevent、eventlet它两之间的关系可以参照Comparinggeventtoeventlet，本文主要简单介绍一下eventlet一个例子客户端：importeventletfromeventlet.greenimporturllib2defmyfetch(...

 #-*-coding:UTF-8-*-importgeventfromgeventimportsocketfromgeventimporteventrev=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)rev.bind(('',53))ip=[]cur=0de...

 #coding=utf-8importgeventfromgevent.queueimportQueue,Emptyimporttimetasks=Queue(maxsize=4)defworker(n):try:whileTrue:task=tasks.get(timeout=1)#decrementsq...

 协程的概念　　协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。（其实并没有说明白~）我觉得单说协程，比较抽象，如果对线程有一定了解的话，应该就比较好理解了。那么这么来理解协程比较容易：　　线程是系统级别的，它们是由操作系统调度；协程是程序级别的，由程序员...

来源https://blog.csdn.net/ruhailiu126/article/details/79691839 一：什么是纤程/协程?   纤程（Fiber）是一种最轻量化的线程（lightweightthreads）。它是一种用户线程（userthread），让应用程...

进程是系统资源分配的最小单位,系统由一个个进程(程序)组成一般情况下，包括文本区域（textregion）、数据区域（dataregion）和堆栈（stackregion）。文本区域存储处理器执行的代码数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。因此进程的创建和销毁都...

一、线程模型N:1模型，N个用户空间线程在1个内核空间线程上运行。优势是上下文切换非常快但是无法利用多核系统的优点。1:1模型，1个内核空间线程运行一个用户空间线程。这种充分利用了多核系统的优势但是上下文切换非常慢，因为每一次调度都会在用户态和内核态之间切换。（POSIX线程模型(pthread)，Java）M:N模型...

 前言　　在过去单核CPU也可以执行多任务，操作系统轮流让各个任务交替执行，任务1执行0.01秒，切换任务2，任务2执行0.01秒，在切换到任务3，这样反复执行下去，表面上看每个任务都是交替执行的，但是由于CPU速度太快，让我们觉得所有任务是在同时执行一样。真正的并行执行多任务只能在多核CPU上，但是由于任务...

　　 进程定义：进程是正在运行的程序的实例，进程是内核分配资源的最基本的单元，而线程是内核执行的最基本单元，进程内可以包含多个线程，只要记住这三个要点，就可以很清楚的理清进程和线程的行为模式。　　程序在运行的时候是需要操作系统分配内存和其他硬件资源的，所以将运行的程序抽象为进程，一开始操作系统只能执行单一的进...

先写一个静态类：///<summary>///公用基础函数库///<remarks>作者:YangYxd</remarks>///</summary>publicstaticclassCommon{///<summary>///返回一个以毫秒为单位的时间（00...