1、pickle模块python持久化的存储数据：python程序运行中得到了一些字符串，列表，字典等数据，想要长久的保存下来，方便以后使用，而不是简单的放入内存中关机断电就丢失数据。python模块大全中pickle模块就排上用场了，他可以将对象转换为一种可以传输或存储的格式。pickle模块将任意一个python对象转换成一系统字节的这个操作过程叫做串行化对象。python的pickle模块实现了python的所有数据序列和反序列化。基本上功能使用和JSON模块没有太大区别，方法也同样是dumps/dump和loads/load。cPickle是pickle模块的C语言编译版本相对速度更快。与JSON不同的是pickle不是用于多种语言间的数据传输，它仅作为python对象的持久化或者python程序间进行互相传输对象的方法，因此它支持了python所有的数据类型。importpickledata2=[1,2,3,4]det_str=pickle.dumps(data2)print(det_str)#output：输出为二进制格式b'x80x03]qx00(Kx01Kx02Kx03...

1.计数器（counter）counter是对字典的方法，用来追踪值的出现次数；具备字典的所有功能和自己的功能。>>>fromcollectionsimportCounter>>>d2=Count>>>d2=Counter('abbcccddd')#对值计数>>>print(d2)Counter({'d':3,'c':3,'b':2,'a':1})>>>print(type(d2))<class'collections.Counter'>>>>d2=Counter('abbcccddd')>>>foriind2.elements():#计数元素迭代器...print(i)...bbadddccc>>>d2.clear()#清空元素>>>print(d2)Counter()>>>d3=d2.copy()#拷贝>>>d3Counter({'d':3,'c':3,'b':2,'a':1...

BeautifulSoup是python的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式。BeautifulSoup的三个特点：BeautifulSoup提供一些简单的方法和python式函数，用于浏览，搜索和修改解析树，它是一个工具箱，通过解析文档为用户提供需要抓取的数据BeautifulSoup自动将转入稳定转换为Unicode编码，输出文档转换为UTF-8编码，不需要考虑编码，除非文档没有指定编码方式，这时只需要指定原始编码即可BeautifulSoup位于流行的Python解析器（如lxml和html5lib）之上，允许您尝试不同的解析策略或交易速度以获得灵活性。1、BeautifulSoup4的安装配置BeautifulSoup4通过PyPi发布，所以可以通过系统管理包工具安装，包名字为beautifulsoup4$easy_installbeautifulsoup4或者$pipinstallbeautifulsoup4也可用通过下载源码包来安装：#wgethttps://www.crummy.com/software/...

1、requests简介requests是通过urllib3实现自动发送HTTP/1.1请求，它能轻松的实现cookies，登陆验证，代理设置等操作。Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。更好的方案是使用requests。它是一个Python第三方库，处理URL资源特别方便requests实现内容：保持活力和连接池支持国际域名和网址会话与Cookie持久性浏览器式SSL验证自动内容解码基本/摘要式身份验证自动解压缩Unicode响应bodyHTTP(s)代理支持多部分文件上传流媒体下载连接超时分块的请求.netrc支持2、requests的安装(1)源码安装：gitclonegit://github.com/requests/requests.git#克隆公共存储库或者下载tarballcurl-OLhttps://github.com/requests/requests/tarball/mastercdrequests/requestspipinstall.(2)pip安装pipinstallrequests(3)...

 1、smtplib模块的常用类与方法smtplib模块实现邮件的发送功能，模拟一个stmp客户端，通过与smtp服务器交互来实现邮件发送的功能，可以理解成Foxmail的发邮件功能，在使用之前我们需要准备smtp服务器主机地址、邮箱账号以及密码信息。在python2.3以后python自带smtplib模块，无需额外安装。classsmtplib.SMTP(host="",port=0,local_hostname=None,[timeout,]source_address=None)：SMTP类定义作为SMTP的构造函数，定义了一个SMTP客户端会话对象，功能是与smtp服务器建立链接，在链接成功后，就可以向服务器发送相关请求，比如登陆、校验、发送、退出等。host：参数为远程smtp主机地址;如：smtp.163.comport：为链接端口默认为25local_hostname：是将本地主机的FQDN(完整域名)发送HELO/EHLO（标识用户身份）的指令timeout：为链接或尝试链接多少秒后超时source_address：绑定到具有多个网络接口的计算机中的某个特定...

psutil是个跨平台库，能够轻松实现获取系统运行的进程和系统利用率，包括CPU、内存、磁盘、网络等信息。它主要应用于信息监控，分析和限制系统资源及进程的管理。它实现了同等命令命令行工具提供的功能，如：ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的linux、windows、OSX、FreeBSD和SunSolaris等操作系统。1、psutil模块安装（1）源码安装psutilgitclonehttps://github.com/giampaolo/psutil.gitcdpsutilpython3setup.pyinstall（2）pip安装pip3installpsutil（3）windows上安装C:python35python.exe-mpipinstallpsutil或者源码编译安装：make.batbuildmake.batinstall2、获取CPU信息In[10]:psutil.cpu_t...

1、系统环境，必要知识#cat/etc/redhat-releaseCentOSLinuxrelease7.5.1804(Core)#uname-r3.10.0-862.3.2.el7.x86_64暂时关闭防护墙，关闭selinux：#systemctlstopfirewalld.service#setenforce0#getenforcePermissive准备知识：django：一个基于python的开源web框架。uWSGI：一个基于自有的uwsgi协议，wsgi协议和http服务协议的web网关nginx：高性能的代理web服务器wsgi.py：django项目自带的wsgi接口文件（位于：项目/项目名/wsgi.py）整个项目流程：首先客户端通过浏览器访问服务器资源；nginx作为对外服务的端口(80)，nginx接收到客户端http请求后会解包分析，如果是静态文件就去配置的静态文件中查找资源并返回给客户端，如果是动态资源，nginx就通过配置文件将请求传递给uwsgi处理，并转发给uwsgi,wsgi根据请求调用django工程的文件和函数，处理后django将返回值交给w...

1、python3安装下载地址：https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz#安装环境centOS7#安装依赖包：yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm-develdb4-devellibpcap-develxz-devel#开始安装：wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgzmkdir-p/usr/local/python356tarzxvfPython-3.6.5.tgzcdPython-3.6.5./configure--prefix=/usr/local/python356makemakeinstallln-s/usr/local/python356/bin/python3/usr/local/bin/python3ln-s/usr/local/python356/bin/pip3...

JavaScript简介：JavaScript是web的编程语言，所有现代的HTML页面都使用JavaScript。JavaScript是一种轻量级的编程语言；可以插入HTML页面的编程代码；可由所有的现代浏览器执行。 1、javascript显示数据javascript可以通过不同的方式来输出数据：使用 window.alert() 弹出警告框。使用 document.write() 方法将内容写到HTML文档中。使用 innerHTML 写入到HTML元素。使用 console.log() 写入到浏览器的控制台2、javascript语法数字（number）字面量，可以是整数或者是小数，或者科学计数（e）。字符串（string）字面量，可以使用单引号或者双引号。表达式字面量，用于计算。数组（array）字面量，定义一个数组：[10,20,30,40]对象（object）字面量，定义一个对象：{name:"zhangsan",age:22,sex:"men"}函数（function）字面量，定义...

1、CSS简介CSS指层叠样式表(Cascading Style Sheets)样式定义如何显示 HTML元素样式通常存储在样式表中把样式添加到HTML4.0中，是为了解决内容与表现分离的问题外部样式表可以极大提高工作效率外部样式表通常存储在 CSS文件中多个样式定义可层叠为一样式表定义如何显示HTML元素样式表定义如何显示HTML元素，就像HTML3.2的字体标签和颜色属性所起的作用那样。样式通常保存在外部的.css文件中。通过仅仅编辑一个简单的CSS文档，外部样式表使你有能力同时改变站点中所有页面的布局和外观。2、CSS语法CSS规则由两个主要的部分构成：选择器，以及一条或多条声明。选择器通常是您需要改变样式的HTML元素。每条声明由一个属性和一个值组成。属性（property）是您希望设置的样式属性（styleattribute）。每个属性有一个值，属性和值被冒号分开。CSS声明总是以分号（；）结束，声明组以大括号{}括起来。CSS注释：以“/*”开始，以“*/”结束：/*这是注释*/3、CS...

1、SQLAlchemy介绍SQLAlchemy是PythonSQL工具包和对象关系映射器，为应用程序开发人员提供了SQL的全部功能和灵活性。它提供了一整套众所周知的企业级持久性模式，专为高效和高性能的数据库访问而设计，适用于简单的Pythonic域语言。SQLAlchemy对象关系映射器提供了一种将用户定义的Python类与数据库表关联的方法，以及这些类（对象）在其相应表中具有行的实例。它包括一个系统，可以透明地同步对象及其相关行之间状态的所有变化（称为工作单元），以及根据用户定义的类和它们之间定义的关系来表示数据库查询的系统。2、sqlalchemy安装链接可以使用easy_install或者pip安装SQLAlchemy：easy_installsqlalchemy或者pipinstallsqlalchemy查看SQLAlchemy版本信息In[1]:importsqlalchemyIn[2]:sqlalchemy.__version__Out[2]:'1.2.4'SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据...

OCR，即OpticalCharacterRecognition，光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程，对应图形验证码来说，它们都是一些不规则的字符，这些字符是由字符稍加扭曲变换得到的内容，我们可以使用OCR技术来讲其转化为电子文本，然后将结果提取交给服务器，便可以达到自动识别验证码的过程tesserocr与pytesseract是Python的一个OCR识别库，但其实是对tesseract做的一层PythonAPI封装，pytesseract是Google的Tesseract-OCR引擎包装器；所以它们的核心是tesseract,因此在安装tesserocr之前，我们需要先安装tesseract1、安装tesseract、tesserocr、pytesseract （1）windows下的安装下载tesseract：https://digi.bib.uni-mannheim.de/tesseract/tesseract-ocr-w64-setup-v4.0.0-beta.1.20180414.exe然后双击程序安装即可，可以勾选Additi...

Splash是一个javascript渲染服务。它是一个带有HTTPAPI的轻量级Web浏览器，使用Twisted和QT5在Python3中实现。QT反应器用于使服务完全异步，允许通过QT主循环利用webkit并发。一些Splash功能：并行处理多个网页获取HTML源代码或截取屏幕截图关闭图像或使用AdblockPlus规则使渲染更快在页面上下文中执行自定义JavaScript可通过Lua脚本来控制页面的渲染过程在Splash-Jupyter笔记本中开发SplashLua脚本。以HAR格式获取详细的渲染信息1、Scrapy-Splash的安装Scrapy-Splash的安装分为两部分，一个是Splash服务的安装，具体通过Docker来安装服务，运行服务会启动一个Splash服务，通过它的接口来实现JavaScript页面的加载；另外一个是Scrapy-Splash的Python库的安装，安装后就可在Scrapy中使用Splash服务了，下面我们分三部份来安装：(1)安装Docker#安装所需要的包：yuminstall-yyum-utilsdevice-mapper-persiste...

selenium是一个用于web应用程序测试工具，selenium测试直接运行在浏览器中，就像真正的用户在操作一样，支持的浏览器包括IE(7,8,9,10,11)，mozillafirefox，safari，googlechrom，opera等，可使用java，python等多种语言编写用例脚本。SeleniumPython绑定提供了一个简单的API，可以使用SeleniumWebDriver编写功能/验收测试。通过SeleniumPythonAPI，您可以直观地访问SeleniumWebDriver的所有功能。SeleniumPython绑定提供了一个方便的API来访问SeleniumWebDrivers，如Firefox，Ie，Chrome，Remote等。目前支持的Python版本是2.7,3.5及更高版本1、selenium安装配置pip安装：pipinstallseleniumwheel安装：#下载wheel安装文件：https://pypi.python.org/pypi/selenium/#downloadspipinstallselenium-3.13.0-py2.py...

1、CSV介绍CSV，全称为Comma-SeparatedValues,它以逗号分隔值，其文件以纯文本形式存储表格数据，该文件是一个字符序列，可以由任意数目的记录组成，每条记录有字段组成，字段间分隔符是逗号或制表符，相当于结构化的纯文本形式，它比Excel文件更简洁，用来存储数据比较方便2、CSV常用类与方法csv.reader(csvfile,dialect='excel',**fmtparams)遍历CSV文件对象并返回，csvfiel可以是任何支持迭代器协议的对象，如果csvfile是一个文件对象，它需要指定newline=''csv.writer(csvfile,dialect='excel',**fmtparams)写入数据到csv文件中，csvfile可以是具有写入方法的任何对象，如果csvfiel是一个文件对象，应该用newline=''指定换行符(unix上位''，windows上位'')#!/usr/bin/envpython#-*-coding:utf-8-*-#@Time:2018/6/2711:44#@Author:Py.qi#@File:csv_file1.p...