urllib2默认只支持HTTP/HTTPS的GET和POST方法一、Get方式      GET请求一般用于我们向服务器获取数据，比如说，我们用百度搜索，在百度搜索框中搜索“秦时明月”，拿到地址栏里有效url为：https://www...

       爬虫也就是所谓的网络数据采集，是一种通过多种手段收集网络数据的方式，不光是通过与API交互（或者直接与浏览器交互）的方式。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用HTML表单或其他网页文件），然后对数据进行解析，提取...

目标任务：将之前新浪网的Scrapy爬虫项目，修改为基于RedisSpider类的scrapy-redis分布式爬虫项目，将数据存入redis数据库。 一、item文件，和之前项目一样不需要改变#-*-coding:utf-8-*-importscrapyimportsysreload(sys)sys.set...

目标任务：使用Scrapy框架爬取新浪网导航页所有大类、小类、小类里的子链接、以及子链接页面的新闻内容，最后保存到本地。大类小类如下图所示：点击国内这个小类，进入页面后效果如下图（部分截图）：查看页面元素，得到小类里的子链接如下图所示：有子链接就可以发送请求来访问对应新闻的内容了。 首先创建scrapy项目#...

目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。一、创建Scrapy项目scrapystartprojectTencent命令执行后，会创建一个Tencent文件夹，结构如下二、编写item文件，根据需要爬取的内容定义爬取字段#-*-coding:utf-...

一、获取一个有登录信息的Cookie模拟登陆下面以人人网为例，首先使用自己的账号和密码在浏览器登录，然后通过抓包拿到cookie，再将cookie放到请求之中发送请求即可，具体代码如下：#-*-coding:utf-8-*-importurllib2#构建一个已经登录过的用户的headers信息headers={"Ho...

一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。在Python中，可以使用urllib2中的ProxyHandler来...

程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。过程分析：一、进入斗鱼首页http://www.douyu.com/directory/all进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将获取不到完整数据，这时我们...

程序功能说明：爬取百度贴吧帖子中的图片，用户输入贴吧名称和要爬取的起始和终止页数即可进行爬取。思路分析：一、指定贴吧url的获取例如我们进入秦时明月吧，提取并分析其有效url如下http://tieba.baidu.com/f?kw=%E7%A7%A6%E6%97%B6%E6%98%8E%E6%9C%88?后面为查询字...

如在上一篇文章通过爬虫爬取漫画图片，获取信息纯粹用正则表达式进行处理，这种方式即复杂，代码的可阅读性也低。通过BeautifulSoup库，我们可以将指定的class或id值作为参数，来直接获取到对应标签的相关数据，这样的处理方式简洁明了。当前最新的BeautifulSoup版本为4.4.0，BeautifulSoup...

一.姿势储备　　股票交易，线性代数（分析股票），分位数（风险评估）...　　finace.yahoo.com雅虎提供几乎所有股票api　　www.kaggle.com 有问题找社区　　未完待续........

本次爬取的是喜马拉雅的热门栏目下全部电台的每个频道的信息和频道中的每个音频数据的各种信息，然后把爬取的数据保存到mongodb以备后续使用。这次数据量在70万左右。音频数据包括音频下载地址，频道信息，简介等等，非常多。昨天进行了人生中第一次面试，对方是一家人工智能大数据公司，我准备在这大二的暑假去实习，他们就要求有爬取...

  顺便通过这个小例子，可以掌握一些有关制作爬虫的基本的步骤。一般来说，制作一个爬虫需要分以下几个步骤：分析需求（对，需求分析非常重要，不要告诉我你老师没教你）分析网页源代码，配合F12（没有F12那么乱的网页源代码，你想看死我？）编写正则表达式或者XPath表达式（就是前面说的那个神器）正式编写p...

调用百度API获取经纬度信息。importrequestsimportjsonaddress=input('请输入地点：')par={'address':address,'key':'cb649a25c1f81c1451adbeca73623251'}url='http://restapi.amap.com/v3/ge...

设置变量length()函数char_length()replace()函数max()函数1.1、设置变量set@变量名=值set@address='中国-山东省-聊城市-莘县';select@address1.2、length()函数char_length()函数区别selectlength('a'),char_le...