urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块：request：它是最基本的http请求模块，用来模拟发送请求error：异常处理模块，如果出现错误可以捕获这些异常parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等robotparser：主要用来识别网站的robots.txt文件，然后判断哪些网站可以爬1、urllib.request.urlopen()urllib.request.urlopen(url,data=None,[timeout,],cafile=None,capath=None,cadefault=False,context=None)请求对象，返回一个HTTPResponse类型的对象，包含的方法和属性：方法：read()、readinto()、getheader(name)、getheaders()、fileno()属性：msg、version、status、reason、bebuglevel、closedimporturllib.requestresponse=urllib.request.urlopen...

1、pycurl简介pycURL是libcurl多协议文件传输库的python接口，与urllib模块类似，PycURL可用于从python程序中获取由URL标识的对象，功能很强大，libcurl速度非常快pycurl作为libcurl之上的薄包装，速度也非常快；支持多种协议SSL,身份验证和代理选项；用于网络操作的套接字允许将pycurl集成到应用程序的I/O循环中。libcurl是一个免费且易于使用的客户端URL传输库，支持DICT，FILE，FTP，FTPS，Gopher，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet和TFTP。libcurl支持SSL证书，HTTPPOST，HTTPPUT，FTP上传，基于HTTP表单的上传，代理，cookies，用户名密码认证（Basic，Digest，NTLM，Negotiate，Kerberos4），文件传输恢复，http代理隧道等等。libcurl具有很高的可移植性，它可以在多种平台上构建和运行，包括Solaris，NetB...

1、io概叙io模块提供了python用于处理各种类型I/O的主要工具，主要有三种类型的I/O：文本I/O，二进制I/O和原始I/O；这些都是通用类型，各种后备存储可使用其中的每一种类型，所以这些类型的具体对象称为文件对象。他通常的术语叫流和文件对象。每个具体流对象都具有各种功能：可以是只读，只写或读写。它可以允许任意的随机访问；向前或向后寻找任何位置或者只允许顺序访问如套接字或管道的情况下。所有的流都会检测提供给它的数据类型，如给二进制流str字符类型的write()的写方法将会引发一个TypeError异常。2、io类层次结构I/O流的实现被组织为类的层次结构，第一个抽象基类为ABCs,用于指定不同类别的流，然后提供标准流实现的具体类。I/O层次结构的顶部是抽象基类IOBase,它定义了流的基本接口，但读取和写入流之间没有分离。RawIOBase它是IOBase延伸的类，用来处理字节读取和写入流，RawIOBase的子类为机器文件系统中的文件提供接口。BufferedIOBase类继承RawIOBase类，它的子类：BufferedWriter，BufferedReader，Buf...

 1、smtplib模块的常用类与方法smtplib模块实现邮件的发送功能，模拟一个stmp客户端，通过与smtp服务器交互来实现邮件发送的功能，可以理解成Foxmail的发邮件功能，在使用之前我们需要准备smtp服务器主机地址、邮箱账号以及密码信息。在python2.3以后python自带smtplib模块，无需额外安装。classsmtplib.SMTP(host="",port=0,local_hostname=None,[timeout,]source_address=None)：SMTP类定义作为SMTP的构造函数，定义了一个SMTP客户端会话对象，功能是与smtp服务器建立链接，在链接成功后，就可以向服务器发送相关请求，比如登陆、校验、发送、退出等。host：参数为远程smtp主机地址;如：smtp.163.comport：为链接端口默认为25local_hostname：是将本地主机的FQDN(完整域名)发送HELO/EHLO（标识用户身份）的指令timeout：为链接或尝试链接多少秒后超时source_address：绑定到具有多个网络接口的计算机中的某个特定...

psutil是个跨平台库，能够轻松实现获取系统运行的进程和系统利用率，包括CPU、内存、磁盘、网络等信息。它主要应用于信息监控，分析和限制系统资源及进程的管理。它实现了同等命令命令行工具提供的功能，如：ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的linux、windows、OSX、FreeBSD和SunSolaris等操作系统。1、psutil模块安装（1）源码安装psutilgitclonehttps://github.com/giampaolo/psutil.gitcdpsutilpython3setup.pyinstall（2）pip安装pip3installpsutil（3）windows上安装C:python35python.exe-mpipinstallpsutil或者源码编译安装：make.batbuildmake.batinstall2、获取CPU信息In[10]:psutil.cpu_t...

1、定义数据库在django项目中,一个工程中存在多个APP应用很常见；有时候希望不同的APP连接不同的数据库，这个时候需要建立多个数据库连接。在Django的setting中使用DATABASES设置定义数据库，可以将数据库映射到特定的别名字典中;DATABASES定义的是要给嵌套字典，该设置必须配置default默认数据库。默认使用SQLite进行单一数据库设置：DATABASES={'default':{'ENGINE':'django.db.backends.sqlite3','NAME':'mydatabase',}}如不使用默认数据库定义可以将默认配置为空字典形式：'default':{}（1）DATABASES内部选项：ATOMIC_REQUESTS：为True时数据库事务包装每个视图，默认为FalseAUTOCOMMIT：为False时禁用Django事务管理，默认为TrueENGINE：设置数据库类型'django.db.backends.postgresql''django.db.backends.mysql''django.db.backends.sqlite3'...

1、系统环境，必要知识#cat/etc/redhat-releaseCentOSLinuxrelease7.5.1804(Core)#uname-r3.10.0-862.3.2.el7.x86_64暂时关闭防护墙，关闭selinux：#systemctlstopfirewalld.service#setenforce0#getenforcePermissive准备知识：django：一个基于python的开源web框架。uWSGI：一个基于自有的uwsgi协议，wsgi协议和http服务协议的web网关nginx：高性能的代理web服务器wsgi.py：django项目自带的wsgi接口文件（位于：项目/项目名/wsgi.py）整个项目流程：首先客户端通过浏览器访问服务器资源；nginx作为对外服务的端口(80)，nginx接收到客户端http请求后会解包分析，如果是静态文件就去配置的静态文件中查找资源并返回给客户端，如果是动态资源，nginx就通过配置文件将请求传递给uwsgi处理，并转发给uwsgi,wsgi根据请求调用django工程的文件和函数，处理后django将返回值交给w...

1、python3安装下载地址：https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz#安装环境centOS7#安装依赖包：yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm-develdb4-devellibpcap-develxz-devel#开始安装：wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgzmkdir-p/usr/local/python356tarzxvfPython-3.6.5.tgzcdPython-3.6.5./configure--prefix=/usr/local/python356makemakeinstallln-s/usr/local/python356/bin/python3/usr/local/bin/python3ln-s/usr/local/python356/bin/pip3...

1.random.random()随机生成一个大于0小于1的随机数。print(random.random())0.030647654507190982.random.uniform(a,b)用于生成一个指定范围内的随机浮点数，两个参数其中一个是下限一个是上限。（a<b）print(random.uniform(1,10))print(random.uniform(10,1))5.8047874067570647.4515308651959863.random.randint(a,b)用于生成一个指定范围内的整数，（a<=N<=b）print(random.randint(1,20))204.random.randrange([start],stop[,step])从指定范围内，按指定的基数递增的集合中获取一个随机数print(random.randrange(1,10,2))#相当于从1,3,5,7,9中随机获取一个数5.random.choice(sequence)参数sequence表示一个有序类型，从序列中获取一个随机元素。importrandomlis=[1...

一、模板标签内置标签：1、autoescape控制当前的自动转义行为，此标记采用on或者off作为参数，并确定自动转义是否在块内有效。该块以endautoescape结束标签关闭。views：defindex(request):returnrender(request,'app02/index.html',{'title':'mypage','user':'<ul>dd</ul>'})html:<body>{{user}}#默认为不转义#}{{user|safe}}#转义HTML标签#}{%autoescapeon%}#转义HTML标签后,按原样输出#}转义：{{user}}{%endautoescape%}<br/>{%autoescapeoff%}不转义：{{user}}{%endautoescape%}</body>outing：<ul>dd</ul>　　　　dd转义：<ul>dd</ul>不转义：dd2、block定义可以被子模板覆盖的块，为模板继承时使用3、commen...

一、Django基础Django是用Python开发的一个免费开源的Web框架，可以用于快速搭建高性能，优雅的网站！Django的特点：强大的数据库功能：拥有强大的数据库操作接口（QuerySetAPI）,也能执行原生SQL自带强大后台：网站拥有一个强大的后台，轻松管理内容优雅的网址：用正则匹配网址，传递到对应函数，随意定义。模版系统：易扩展的模版系统，设计简易，代码，样式分开设计，更容易管理。缓存系统：与memcached，redis等缓存系统联用，更出色的表现，更快的加载速度。国际化：完全支持多国语言应用，允许定义翻译的字符，轻松翻译成不同国际的语言。Django目录结构：urls.py：网址入口，关联到对应的Views.py中的一个函数，访问网址对应的函数。views.py：处理用户发出的请求，从urls.py中对应过来，通过渲染templates中的网页可以将显示内容，比如登陆后的用户名，数据，输出到网页。models.py：与数据库操作相关，存入或读取数据时用到这个templates文件夹：views.py中的函数渲染templates中的HTML模版，得到动态内容网页，可以...

1、SQLAlchemy介绍SQLAlchemy是PythonSQL工具包和对象关系映射器，为应用程序开发人员提供了SQL的全部功能和灵活性。它提供了一整套众所周知的企业级持久性模式，专为高效和高性能的数据库访问而设计，适用于简单的Pythonic域语言。SQLAlchemy对象关系映射器提供了一种将用户定义的Python类与数据库表关联的方法，以及这些类（对象）在其相应表中具有行的实例。它包括一个系统，可以透明地同步对象及其相关行之间状态的所有变化（称为工作单元），以及根据用户定义的类和它们之间定义的关系来表示数据库查询的系统。2、sqlalchemy安装链接可以使用easy_install或者pip安装SQLAlchemy：easy_installsqlalchemy或者pipinstallsqlalchemy查看SQLAlchemy版本信息In[1]:importsqlalchemyIn[2]:sqlalchemy.__version__Out[2]:'1.2.4'SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据...

1、memcached介绍Memcached是一个自由开源的，高性能，分布式内存对象缓存系统。Memcached是以LiveJournal旗下DangaInteractive公司的BradFitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。Memcached是一种基于内存的key-value存储，用来存储小块的任意数据（字符串、对象）。这些数据可以是数据库调用、API调用或者是页面渲染的结果。Memcached简洁而强大。它的简洁设计便于快速开发，减轻开发难度，解决了大数据量缓存的很多问题。它的API兼容大部分流行的开发语言。本质上，它是一个简洁的key-value存储系统。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。memcached分布式缓存服务器的特点：协议简单、基于libevent的事件处理、内置内存存储方式、memcached不互相通信的分布式2、Memcached安装和基本使用Memcached支持许多...

1、手动访问迭代器中的元素#要手动访问迭代器中的元素，可以使用next()函数In[3]:withopen('/etc/passwd')asf:...:try:...:whileTrue:...:print(next(f))#next()函数访问迭代中的函数...:exceptStopIteration:#捕获结束异常...:print('None')#通过指定返回结束值来判断迭代结束In[28]:withopen('/etc/passwd')asf:...:whileTrue:...:line=next(f,None)...:iflineisNone:...:break...:print(line)2、委托迭代classnode(object):def__init__(self,value):self._value=valueself._children=[]def__repr__(self):return'Node({!r})'.format(self._value)defadd_child(self,node):self._children.append(node)def__it...

1、对数值进行取整#使用内建的round(value,ndigits)函数来取整,ndigits指定保留的位数，在取整时会取值在偶数上，如1.25取一位会取整1.2,1.26会取整1.3In[1]:round(1.23,1)Out[1]:1.2In[2]:round(1.25,1)Out[2]:1.2In[3]:round(1.26,1)Out[3]:1.3In[4]:round(1.2645,3)Out[4]:1.264#如果参数ndigits为负数的话会相应的取整到十位、白位和千位In[1]:a=1234567In[2]:round(a,-1)Out[2]:1234570In[3]:round(a,-3)Out[3]:1235000#通过格式化操作取小数精度In[4]:x=1.23456In[5]:format(x,'0.2f')Out[5]:'1.23'In[6]:'valueis{:0.3f}'.format(x)Out[6]:'valueis1.235'2、执行精确的小数计算#在数学计算中由于CPU的浮点运算单元特性导致会引入微小的误差In[11]:a=4.2In[12]:b...