1.字符串处理　　将字符串中的数字替换成其两倍的值，例如：修改前："AS7G123m(d)F77k"修改后："AS14G246m(d)F154k"　 个人思路：先用正则表达式将其中的数字匹配出来进行乘2操作，然后将字符串根据其中的数字进行切割，得到一个字符列表，最终将乘以2后的数字和原有的字符进行拼接得到最后...

　　在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务，是可以用Celery来做到加速爬取的，那么，这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速！ 1.classcelery.group　　group这个类表示创建一组要并行执行的任务，不过一组任务是懒惰的，所以你需要运行并对其...

　　之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常用数据类型包括String、H...

　　我写爬虫已经写了一段时间了，对于那些使用GET请求或者POST请求的网页，爬取的时候都还算得心应手。不过最近遇到了一个有趣的网站，虽然爬取的难度不大，不过因为表单提交的存在，所以一开始还是有点摸不着头脑。至于最后怎么解决的，请慢慢往下看。 　　这次爬取的网站是：https://www.ctic.org/c...

环境：MySQL8.0+Windows由于密码错误或者其他原因导致无法连上MySQL服务，如下图： 解决该问题的具体步骤如下：1.关闭MySQL服务　　以管理员权限运行cmd程序然后输入netstopmysql，或者运行services.msc然后找到MySQL服务并停止运行;2.跳过权限登录MySQL服务　...

　　我在以前写过一次12306网站的爬虫，当时实现了模拟登录和查询车票，但是感觉还不太够，所以对之前的代码加以修改，还实现了一个订购车票的功能。　　在使用Selenium做模拟登录12306网站的时候，需要将登录成功后的Cookie保存下来，这个Cookie在后面是必需的。然后就是在12306网站上查票订票，同时使用F...

最近复仇者联盟4正在热映中，很多人都去电影院观看了电影，那么对于这部电影，看过的人都是怎么评价的呢？这时候爬虫就可以派上用场了！ 首先打开豆瓣电影，然后进入复仇者联盟4的详情页面：https://movie.douban.com/subject/26100958/，下拉页面就可以找到这部电影的短评了：虽然它显...

首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个过程还算是有点小曲折吧。 Wind...

我们都知道Python一种面向对象的脚本语言，对象是Python中非常重要的一个概念。在Python中数字是对象，字符串是对象，任何事物都是对象，而它们的核心就是一个结构体--PyObject。typedefstruct_object{　　intob_refcnt;　　struct_typeobject*ob_type...

这里要看三组代码：#第一组：>>>a=256>>>b=256>>>aisb#第二组：>>>a=257>>>b=257>>>aisb#第三组：>>>a=257;b=257>>>a...

当你看着你的博客的阅读量慢慢增加的时候，内心不禁有了些小激动，但是不得不吐槽一下--博客园并不会显示你的博客的总阅读量是多少。而这一篇博客就将教你怎么利用队列这种结构来编写爬虫，最终获取你的博客的总阅读量。 队列是常用数据结构之一，在Python3中要用queue这个模块来实现。queue这个模块实现了三种队...

 上一篇博客的末尾说到全网代理IP的端口号是经过加密混淆的，而这一篇博客就将告诉你如何破解！如果觉得有用的话，不妨点个推荐哦~ 首先进入全网代理IP，打开开发者工具，点击查看端口号，看起来貌似没有什么问题：如果你已经爬取过这个网站的代理，你就会知道事情并非这么简单。如果没爬过呢？也很简单，点击鼠标右...

这一篇博客，还是接着说那些常见的反爬虫措施以及我们的解决办法。同样的，如果对你有帮助的话，麻烦点一下推荐啦。 这次我遇到的防盗链，除了前面说的Referer防盗链，还有Cookie防盗链和时间戳防盗链。Cookie防盗链常见于论坛、社区。当访客请求一个资源的时候，他会检查这个访客的Cookie，如果不是他自己...

这一篇博客，是关于反反爬虫的，我会分享一些我遇到的反爬虫的措施，并且会分享我自己的解决办法。如果能对你有什么帮助的话，麻烦点一下推荐啦。 UserAgent中文名为用户代理，它使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本等信息。对于一些网站来说，它会检查我们发送的请求中所携带的User...

首先我们要知道setTag方法是干什么的，SDK解释为TagsUnlikeIDs,tagsarenotusedtoidentifyviews.Tagsareessentiallyanextrapieceofinformationthatcanbeassociatedwithaview.Theyaremostoftenu...