搭建Python爬虫环境，需要安装下面2个软件包:requests用于执行HTTP请求BeautifulSoup4 分析HTML页面可以使用pip安装这些依赖项:pipinstallrequestsBeautifulSoup4安装输出Kevin@QIKEGUC:UsersKevin>pipinstall...

前文说过我的设计师小伙伴的设计需求，他想做一个披头士乐队历年专辑的瀑布图。通过搜索，发现网易云音乐上有比较全的历年专辑信息加配图，图片质量还可以，虽然有大有小。我的例子怎么都是爬取图片？（谁让你总是跟设计师小伙伴一起玩耍。。。）看来图片对于设计师来说还是有着很深的情节，那就看他用这些图片能做出什么样的作品啦，期待一下，...

前文介绍了PhatomJS和Selenium的用法，工具准备完毕，我们来看看如何使用它们来改造我们之前写的小爬虫。我们的目的是模拟页面下拉到底部，然后页面会刷出新的内容，每次会加载10张新图片。大体思路是，用Selenium+PhatomJS来请求网页，页面加载后模拟下拉操作，可以根据想要获取的图片多少来选择下拉的次数...

在上一篇博文中，我们的爬虫面临着一个问题，在爬取Unsplash网站的时候，由于网站是下拉刷新，并没有分页。所以不能够通过页码获取页面的url来分别发送网络请求。我也尝试了其他方式，比如下拉的时候监控http请求，看看请求是否有规律可以模拟。后来发现请求并没有规律，也就是不能够模拟http请求来获取新的数据（也可能是我...

上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。updateon2016-12-28：之前忘记给BeautifulSoup的官网了，今天补上，顺便再补点BeautifulSoup的用法。upd...

为什么要先说Requests库呢，因为这是个功能很强大的网络请求库，可以实现跟浏览器一样发送各种HTTP请求来获取网站的数据。网络上的模块、库、包指的都是同一种东西，所以后文中可能会在不同地方使用不同称谓，不要迷惑哦。结合一个实例来讲解吧。我的一个设计师小伙伴常去一些设计类网站收集素材，其中有个网站Unsplash里面...

你是不是在为想收集数据而不知道如何收集而着急？你是不是在为想学习爬虫而找不到一个专门为小白写的教程而烦恼？Bingo!你没有看错，这就是专门面向小白学习爬虫而写的！我会采用实例的方式，把每个部分都跟实际的例子结合起来帮助小伙伴儿们理解。最后再写几个实战的例子。我们使用Python来写爬虫，一方面因为Python是一个特...

--刚接触python2天，想高速上手，就写了个爬虫，写完之后，成就感暴增，用起来顺手多了。1.源代码#coding=utf-8importurllibimportreclassPage():__slots__=('url','regex','arg')def__init...

上一篇博客中我介绍了如何将爬虫改造为多进程爬虫，但是这种方法对爬虫效率的提升不是非常明显，而且占用电脑cpu较高，不是非常适用于爬虫。这篇博客中，我将介绍在爬虫中广泛运用的多线程+协程的解决方案，亲测可提高效率至少十倍以上。本文既然提到了线程和协程，我觉得有必要在此对进程、线程、协程做一个简单的对比，了解这三个程之间的...

目标任务：使用多进程下载金庸网各个版本（旧版、修订版、新修版）的小说代码如下： #-*-coding:utf-8-*-importrequestsfromlxmlimportetreefrommultiprocessingimportPoolimportosimportsysreload(sys)sys.se...

还是豆瓣top250爬虫的例子，添加下载中间件，主要是设置动态Uesr-Agent和代理IPScrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。middlewares.py...

任务目标：爬取豆瓣电影top250，将数据存储到MongoDB中。items.py文件#-*-coding:utf-8-*-importscrapyclassDoubanItem(scrapy.Item):#definethefieldsforyouritemherelike:#电影名title=scrapy.Fiel...

目标任务：使用requests抓取电影网站信息和下载链接保存到数据库中，然后使用flask做数据展示。爬取的网站在这里 最终效果如下：主页：可以进行搜索：输入水形物语点击标题进入详情页：爬虫程序#-*-coding:utf-8-*-importrequestsfromurllibimportparseimpo...

requests文档首先需要安装：pipinstallrequestsget请求最基本的get：#-*-coding:utf-8-*-importrequestsresponse=requests.get("http://www.baidu.com/")添加headers及查询参数：#-*-coding:utf-8-*...

   opener是urllib2.OpenerDirector的实例，其中urlopen是模块默认构建的opener。但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。如果要支持这些功能，可以使用相关的Handler处理器来创建特定功能的处理器...