1、分析网站打开开发者工具，我们观察到排行榜的数据并没有在doc里doc文档在Javascript里我么可以看到下面代码：ajax的post方法异步请求数据在XHR一栏里，我们找到所请求的数据json存储的数据请求字段为：post请求字段2、伪装浏览器，并将json数据存入excel里面 获取信息 ...

一、什么叫数据加密　　数据加密是指利用加密算法和秘钥将明文转变为密文的过程。二、数据加密的方式　　1、单向加密　　指只能加密数据而不能解密数据，这种加密方式主要是为了保证数据的完整性，常见的加密算法有MD5、sha系列等（位于python内置的hashlib模块中）。　　2、对称加密　　指数据加密和解密使用相同的秘钥，...

一、什么是字体反爬？　　字体反爬就是将关键性数据对应于其他Unicode编码，浏览器使用该页面自带的字体文件加载关键性数据，正常显示，而当我们将数据进行复制粘贴、爬取操作时，使用的还是标准的Unicode字符映射，解析后就是干扰性数据，以猫眼电影为例：  上图表明，浏览器正常渲染的数据在调试界面显示...

1、常用的打码平台：超级鹰、打码兔等2、打码平台在识别图形验证码和点触验证码上比较好用　　（1）12306点触验证码1fromseleniumimportwebdriver2fromselenium.webdriver.supportimportexpected_conditionsasEC3fromselenium....

一、什么是验证码？　　验证码（CAPTCHA）是“CompletelyAutomatedPublicTuringtesttotellComputersandHumansApart”（全自动区分计算机和人类的图灵测试）的缩写。是一种用来区分用户是计算机还是人的公共全自动程序。二、验证码的作用　　验...

一、Appium工作原理（详情见：https://www.cnblogs.com/sophia194910/p/7515165.html）  Appium的功能其实很简单：监听一个端口，然后接收由client发送来的command，翻译这些command，把这些command转成移动设备可以理解的形...

m=md5("12345678".encode())print(m.hexdigest())#25d55ad283aa400af464c76d713c07adm=md5("1234".encode())print(m.hexdigest())#81dc9bdb52d04dc20036dbd8313ed055m.upda...

1、什么是scrapyd　　Scrapyd是一个服务，用来运行scrapy爬虫的。　　它允许你部署你的scrapy项目以及通过HTTPJSON的方式控制你的爬虫。　　官方文档：http://scrapyd.readthedocs.org/2、安装scrapyd和scrapyd-client　　pipinstallscr...

1、scrapy日志介绍 Scrapy的日志系统是实现了对python内置的日志的封装  scrapy也使用python日志级别分类logging.CRITICALlogging.ERROElogging.WARININGlogging.INFOlogging.DEBUG 2、如...

MongoDB安装配置：　　在安装配置MongoDB的过程中遇到了很多问题，现在重新梳理一遍安装流程、遇到的问题及其解决方法　　系统版本：Windows10　　MongoDB版本：4.2.1　　1.下载地址：https://www.mongodb.com/download-center/community　　2.安装流...

常用的提取网页数据的工具有三种xpath、css选择器、正则表达式1.xpath　　1.1在python中使用xpath必须要下载lxml模块：　　lxml官方文档：https://lxml.de/index.html　　　　pipinstalllxml　　然后导入：　　　　fromlxmlimportetree　　使...

1、代码如下：importsmtplibfromemail.messagefromEmailMessage#smtplib模块负责发送邮件服务#email.message模块负责构建邮件，然后交给smtplib发送#定义SMTP服务器地址smtp_server='smtp.163.com'#定义发件人地址from_ad...

1、通过pythonsocket库来构造请求报文，向服务器发送图片请求时　　（1）图片在浏览器请求头中的remoteaddress信息跟通过pythonsocket输出远程连接地址和端口号不一致　　　　RemoteAddress：183.61.138.62:443　　　　raddr=('183.61.138.62',8...

　　自从写了第一个sina爬虫，便一发不可收拾。进入淘宝评论爬虫正题：　　在做这个的时候，也没有深思到底爬取商品评论有什么用，后来，爬下来了数据。觉得这些数据可以用于帮助分析商品的评论，从而为用户选择商品提供一定的可参考数据。 　　找评论所在真实url:有了前面爬搜狗图片的经验，面对找资料的url这件事，找他...

用python爬取动态网页时，普通的requests，urllib2无法实现。例如有些网站点击下一页时，会加载新的内容，但是网页的URL却没有改变（没有传入页码相关的参数），requests、urllib2无法抓取这些动态加载的内容，此时就需要使用Selenium了。  使用Selenium需要选择...