目标网站:静听网网站url:http://www.audio699.com/目标文件:所有在线听的音频文件附:我有个喜好就是听有声书，然而很多软件都是付费才能听，免费在线网站虽然能听，但是禁ip很严重，就拿静听网来说，你听一个在线音频，不能一个没听完就点击下一集，甚至不能快进太快，否则直接禁你5分钟才能再听，真的是太太...

   可能在学习爬虫的时候，遇到很多的反爬的手段，封ip就是其中之一。  对于封IP的网站。需要很多的代理IP，去买代理IP，对于初学者觉得没有必要，每个卖代理IP的网站有的提供了免费IP，可是又很少，写了个IP代理池。学习应该就够了  ip代理池：...

与前文差不多1.前置知识html一些知识python基本语法简单的一些爬虫库api调用2.所用到的包requestsbs4importBeautifulSoupBeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库(可以理解为一个处理文本工具吧)ossyshttps://cn.python...

Python爬虫可以说是好玩又好用了。现想利用Python爬取网页股票数据保存到本地csv数据文件中，同时想把股票数据保存到MySQL数据库中。需求有了，剩下的就是实现了。 在开始之前，保证已经安装好了MySQL并需要启动本地MySQL数据库服务。提到安装MySQL数据库，前两天在一台电脑上安装MySQL5....

fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。分析过程首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url为https://lo...

BeautifulSoup是一个HTML/XML的解析器，主要的功能也是如何解析和提取HTML/XML数据。BeautifulSoup用来解析HTML比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持lxml的XML解析器。BeautifulSoup3目前已经停止开发，推荐现在的...

发送http请求的第三方库，兼容python2和python3pipinstallrequestsimportrequests发送请求response=requests.get(url)response=requests.post(url)响应内容请求返回的值是一个response对象，是对http协议服务端返回数据的...

urllib主要分为几个部分urllib.request发送请求urllib.error处理请求过程中出现的异常urllib.parse处理urlurllib.robotparser解析robots.txt-->规定了该网站的爬虫权限urllib.request方法data=urllib.request.urlo...

关于cookie和session估计很多程序员面试的时候都会被问到，这两个概念在写web以及爬虫中都会涉及，并且两者可能很多人直接回答也不好说的特别清楚，所以整理这样一篇文章，也帮助自己加深理解其实简单的说就是当用户通过http协议访问一个服务器的时候，这个服务器会将一些Name/Value键值对返回给客户端浏览器，并...

常见的登录方式有以下两种：查看登录页面，csrf,cookie;授权；cookie直接发送post请求,获取cookie上面只是简单的描述，下面是详细的针对两种登录方式的时候爬虫的处理方法这种例子其实也比较多，现在很多网站的登录都是第一种的方法，这里通过以github为例子：分析页面获取authenticity_tok...

官网：https://tasker.joaoapps.com/网上也有中文版的，自行搜索1.打开tasker界面，点击右下加号  2.点击配置文件类型，选择事件  3.选择事件类型，点击电话  4.点击收到短信  5.在发件人和内容中填写过...

 Python2模拟登陆获取cookieimporturllibimporturllib2importcookielibfilename='cookie.txt'#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件cookie=cookielib.MozillaCookieJar...

importurllibimporturllib2url='http://www.server.com/login'user_agent='Mozilla/4.0(compatible;MSIE5.5;WindowsNT)'values={'username':'cqc','password':'XXXX'}heade...

Python爬虫之Urllib库的基本使用importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Ur...

第0关  认识爬虫1. 浏览器的工作原理首先，我们在浏览器输入网址（也可以叫URL），然后浏览器向服务器传达了我们想访问某个网页的需求，这个过程就叫做【请求】紧接着，服务器把你想要的网站数据发送给浏览器，这个过程叫做【响应】所以浏览器和服务器之间，先请求，后响应，有这么一层关系当服务器把数...