1.有网的服务器1.生成requirement.txt文件pipfreeze>/tmp/wheel_pip/requirements.txt这个命令会把当前环境下面的pip安装包名，都放到文件中2.打包pip和wheel的whl文件pipwheel--wheel-dir=/tmp/wheel_pippippipw...

本文我们为大家介绍Python3使用 PyMySQL 连接数据库，并实现简单的增删改查。什么是PyMySQL？PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库，Python2中则使用mysqldb。PyMySQL遵循Python数据库APIv2.0规范，并包含了pure-P...

（虚拟环境命名相同）pycharmpleasespecifyadifferentSDKname9（转载自https://blog.csdn.net/wu_l_v/article/details/79049718） ...

　　前几天在微信上看到这样一篇文章，链接为：https://mp.weixin.qq.com/s/rl6Sgv3uk_IpoFAx6cWa8w，在这篇文章中，有这样一段话，吸引了我的注意：　　 　　在Linux中ls是一个使用频率非常高的命令了，可选的参数也有很多，算是一条不得不掌握的命令。Python作为一...

1.字符串处理　　将字符串中的数字替换成其两倍的值，例如：修改前："AS7G123m(d)F77k"修改后："AS14G246m(d)F154k"　 个人思路：先用正则表达式将其中的数字匹配出来进行乘2操作，然后将字符串根据其中的数字进行切割，得到一个字符列表，最终将乘以2后的数字和原有的字符进行拼接得到最后...

　　在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务，是可以用Celery来做到加速爬取的，那么，这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速！ 1.classcelery.group　　group这个类表示创建一组要并行执行的任务，不过一组任务是懒惰的，所以你需要运行并对其...

　　之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常用数据类型包括String、H...

　　我写爬虫已经写了一段时间了，对于那些使用GET请求或者POST请求的网页，爬取的时候都还算得心应手。不过最近遇到了一个有趣的网站，虽然爬取的难度不大，不过因为表单提交的存在，所以一开始还是有点摸不着头脑。至于最后怎么解决的，请慢慢往下看。 　　这次爬取的网站是：https://www.ctic.org/c...

　　我在以前写过一次12306网站的爬虫，当时实现了模拟登录和查询车票，但是感觉还不太够，所以对之前的代码加以修改，还实现了一个订购车票的功能。　　在使用Selenium做模拟登录12306网站的时候，需要将登录成功后的Cookie保存下来，这个Cookie在后面是必需的。然后就是在12306网站上查票订票，同时使用F...

最近复仇者联盟4正在热映中，很多人都去电影院观看了电影，那么对于这部电影，看过的人都是怎么评价的呢？这时候爬虫就可以派上用场了！ 首先打开豆瓣电影，然后进入复仇者联盟4的详情页面：https://movie.douban.com/subject/26100958/，下拉页面就可以找到这部电影的短评了：虽然它显...

首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个过程还算是有点小曲折吧。 Wind...

我们都知道Python一种面向对象的脚本语言，对象是Python中非常重要的一个概念。在Python中数字是对象，字符串是对象，任何事物都是对象，而它们的核心就是一个结构体--PyObject。typedefstruct_object{　　intob_refcnt;　　struct_typeobject*ob_type...

这里要看三组代码：#第一组：>>>a=256>>>b=256>>>aisb#第二组：>>>a=257>>>b=257>>>aisb#第三组：>>>a=257;b=257>>>a...

当你看着你的博客的阅读量慢慢增加的时候，内心不禁有了些小激动，但是不得不吐槽一下--博客园并不会显示你的博客的总阅读量是多少。而这一篇博客就将教你怎么利用队列这种结构来编写爬虫，最终获取你的博客的总阅读量。 队列是常用数据结构之一，在Python3中要用queue这个模块来实现。queue这个模块实现了三种队...

 上一篇博客的末尾说到全网代理IP的端口号是经过加密混淆的，而这一篇博客就将告诉你如何破解！如果觉得有用的话，不妨点个推荐哦~ 首先进入全网代理IP，打开开发者工具，点击查看端口号，看起来貌似没有什么问题：如果你已经爬取过这个网站的代理，你就会知道事情并非这么简单。如果没爬过呢？也很简单，点击鼠标右...