asyncio是从pytohn3.4开始添加到标准库中的一个强大的异步并发库，可以很好地解决python中高并发的问题，入门学习可以参考官方文档并发访问能极大的提高爬虫的性能，但是requests访问网页是阻塞的，无法并发，所以我们需要一个更牛逼的库aiohttp，它的用法与requests相似，可以看成是异步版的re...

一.首先我们先分析下网页结构 可以看到第一页的URL和第二页的URL的区别在于offset的值，第一页为0，第二页为10，以此类推。    二.<dd>标签的结构（含有电影相关信息）  三、源代码importrequestsimportr...

importrequestsimportreimportjsonimporttimedefget_page(url):#获取页数headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/...

前面几天介绍的都是博客园的内容，今天我们切换一下，了解一下大家都感兴趣的信息，比如最近有啥电影是万众期待的？猫眼电影是了解这些信息的好地方，在猫眼电影中有5个榜单，其中最受期待榜就是我们今天要爬取的对象。这个榜单的数据来源于猫眼电影库，按照之前30天的想看总数量从高到低排列，取前50名。我们先看一下这个表单中包含什么内...