好久没更新博客啦~，今天来更新一篇利用爬虫爬取西刺的代理池的小代码　　先说下需求，我们都是用python写一段小代码去爬取自己所需要的信息，这是可取的，但是，有一些网站呢，对我们的网络爬虫做了一些限制，例如你利用python写了个小爬虫，巴拉巴拉的一劲儿爬人家网页内容，各种下载图片啦，下载视频啥的，然后人家那肯定不让你...

importrequests#urlurl='http://www.xicidaili.com'#添加proxyproxy={'http':'http://root:Yao+ql2011@101.200.50.18:8118'}#添加headersheaders={'User-Agent':'Mozilla/5.0(W...

转自:https://www.cnblogs.com/lyc642983907/p/10739577.html第一步：环境搭建1.python2或python32.用pip安装下载scrapy框架具体就自行百度了，主要内容不是在这。第二步：创建scrapy（简单介绍）1.Creatingaproject（创建项目）sc...