一.简介　　xml是实现不同语言或程序之间进行数据交换的协议，可扩展标记语言，标准通用标记语言的子集。是一种用于标记电子文件使其具有结构性的标记语言。xml格式如下，是通过<>节点来区别数据结构的。XML文件示例：1234567891011121314151617181920212223<...

 1.简介　　configparser用于配置文件解析，可以解析特定格式的配置文件，多数此类配置文件名格式为XXX.ini，例如mysql的配置文件。在python3.X中模块名为configparser，在python2.X中使用的模块名为ConfigParser。12345678910111213####...

 简介：　　用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224，SHA256，SHA384，SHA512,MD5算法。在python3中已经废弃了md5和sha模块，简单说明下md5和sha的使用。　　什么是摘要算法呢？　　摘要算法又称为哈希算法，散列算法。它通过一个函数，把任意...

 用于序列化的两个模块　　json：用于字符串和Python数据类型间进行转换　　pickle:用于python特有的类型和python的数据类型间进行转换　　json提供四个功能：dumps,dump,loads,load　　pickle提供四个功能：dumps,dump,loads,loadpickle可...

 概念：　　序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON，XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。　　JSON（JavaScriptObjectNotation）：一种轻量级数据交互格...

 F()可以将数据库里的数字类型的数据，转换为可以数字类型首先要导入 fromdjango.db.modelsimportFfromdjango.shortcutsimportrenderfromapp1.modelsimport*#导入数据库操作模块fromdjango.db.modelsimpo...

 链表操作链表，就是一张表的外键字段，连接另外一张表的主键字段一对多models.ForeignKey()外键字段一对多，值是要外键的表类from__future__importunicode_literalsfromdjango.dbimportmodels#导入models对象classyong_hu_s...

Django框架,models.py模块，数据库操作——表类容的增删改查 增加数据create()方法，增加数据save()方法，写入数据第一种方式表类名称(字段=值)需要save()方法，写入数据fromdjango.shortcutsimportrenderfromapp1.mod...

Django框架,models.py模块，数据库操作——创建表、数据类型、索引、admin后台，补充Django目录说明以及全局配置文件配置   数据库配置 django默认支持sqlite，mysql, oracle,postgresql数据库...

Django框架，urls.py模块，views.py模块，路由映射与路由分发以及逻辑处理——url控制器这一节主讲url控制器 一、urls.py模块这个模块是配置路由映射的模块，当用户访问一个url地址时，通过这个路由映射模块，映射给对应的逻辑处理函数  url...

selenium模块selenium模块为第三方模块需要安装，selenium模块是一个操作各种浏览器对应软件的api接口模块selenium模块是一个操作各种浏览器对应软件的api接口模块，所以还得需要下载对应浏览器的操作软件操作原理是：selenium模块操作浏览器操作软件，浏览器操作软件操作浏览器Selenium...

PhantomJS虚拟浏览器phantomjs是一个基于js的webkit内核无头浏览器也就是没有显示界面的浏览器，利用这个软件，可以获取到网址js加载的任何信息，也就是可以获取浏览器异步加载的信息下载网址：http://phantomjs.org/download.html 下载对应系统版本 &n...

一般抓取过的url不重复抓取，那么就需要记录url，判断当前URL如果在记录里说明已经抓取过了，如果不存在说明没抓取过记录url可以是缓存，或者数据库，如果保存数据库按照以下方式：id　　URL加密(建索引以便查询)　　原始URL保存URL表里应该至少有以上3个字段1、URL加密(建索引以便查询)字段：用来查询这样速度...

标签选择器对象HtmlXPathSelector()创建标签选择器对象，参数接收response回调的html对象需要导入模块：fromscrapy.selectorimportHtmlXPathSelectorselect()标签选择器方法，是HtmlXPathSelector里的一个方法，参数接收选择器规则，返回列...

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的，也可以应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者通用的网络爬虫。Scrapy用途广泛...