Python解释器内置了很多函数和类型，您可以在任何时候使用它们。以下按字母表顺序列出它们。  内置函数  abs()delattr()hash()memoryview()set()all()dict()help()min()setattr()any()d...

有过一定的Python经验的开发者都知道，当引入第三方包时，我们常常会使用pipinstall命令来下载并导入包。那么，如何写一个自己的包，上传到PyPI呢，其他开发者也可以通过pipinstall命令下载并导入？本文提供了最简单的示例。创建一个项目目录，其目录结构如下：/packaging_tutorial/exam...

1、Python数字求和#-*-codingLuft-8-*-#Filename:test.py#author：VincentZhang#用户输入数字num1=input("输入第一个数：")num2=input("输入第二个数：")#求和sum=float(num1)+float(num2)#要做运算，必须保证运算之...

当添加PYTHONPATH环境变量时，无论输入pip2-V还是pip3-V都显示的是python2的环境变量，使用pip3install时也是安装在了python2的三方库（因为python2中已经有了requests库所以提示已存在）   奇怪了，原来是环境变量导致的，哪个写在上面就都显...

https://blog.csdn.net/c406495762/article/details/75172850...

　　在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务，是可以用Celery来做到加速爬取的，那么，这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速！ 1.classcelery.group　　group这个类表示创建一组要并行执行的任务，不过一组任务是懒惰的，所以你需要运行并对其...

　　之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常用数据类型包括String、H...

　　我写爬虫已经写了一段时间了，对于那些使用GET请求或者POST请求的网页，爬取的时候都还算得心应手。不过最近遇到了一个有趣的网站，虽然爬取的难度不大，不过因为表单提交的存在，所以一开始还是有点摸不着头脑。至于最后怎么解决的，请慢慢往下看。 　　这次爬取的网站是：https://www.ctic.org/c...

　　我在以前写过一次12306网站的爬虫，当时实现了模拟登录和查询车票，但是感觉还不太够，所以对之前的代码加以修改，还实现了一个订购车票的功能。　　在使用Selenium做模拟登录12306网站的时候，需要将登录成功后的Cookie保存下来，这个Cookie在后面是必需的。然后就是在12306网站上查票订票，同时使用F...

最近复仇者联盟4正在热映中，很多人都去电影院观看了电影，那么对于这部电影，看过的人都是怎么评价的呢？这时候爬虫就可以派上用场了！ 首先打开豆瓣电影，然后进入复仇者联盟4的详情页面：https://movie.douban.com/subject/26100958/，下拉页面就可以找到这部电影的短评了：虽然它显...

首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个过程还算是有点小曲折吧。 Wind...

当你看着你的博客的阅读量慢慢增加的时候，内心不禁有了些小激动，但是不得不吐槽一下--博客园并不会显示你的博客的总阅读量是多少。而这一篇博客就将教你怎么利用队列这种结构来编写爬虫，最终获取你的博客的总阅读量。 队列是常用数据结构之一，在Python3中要用queue这个模块来实现。queue这个模块实现了三种队...

 上一篇博客的末尾说到全网代理IP的端口号是经过加密混淆的，而这一篇博客就将告诉你如何破解！如果觉得有用的话，不妨点个推荐哦~ 首先进入全网代理IP，打开开发者工具，点击查看端口号，看起来貌似没有什么问题：如果你已经爬取过这个网站的代理，你就会知道事情并非这么简单。如果没爬过呢？也很简单，点击鼠标右...

这一篇博客，还是接着说那些常见的反爬虫措施以及我们的解决办法。同样的，如果对你有帮助的话，麻烦点一下推荐啦。 这次我遇到的防盗链，除了前面说的Referer防盗链，还有Cookie防盗链和时间戳防盗链。Cookie防盗链常见于论坛、社区。当访客请求一个资源的时候，他会检查这个访客的Cookie，如果不是他自己...

这一篇博客，是关于反反爬虫的，我会分享一些我遇到的反爬虫的措施，并且会分享我自己的解决办法。如果能对你有什么帮助的话，麻烦点一下推荐啦。 UserAgent中文名为用户代理，它使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本等信息。对于一些网站来说，它会检查我们发送的请求中所携带的User...