转载请注明：@小五义 http://www.cnblogs.com/xiaowuyi     学了这么长时间的Pygame，一直想写个游戏实战一下。看起来很简单的游戏，写其来怎么这么难。最初想写个俄罗斯方块，想了很长时间如何实现，想来想去，也没写出来，于是干脆...

转载请注明：@小五义 http://www.cnblogs.com/xiaowuyipygame.mixer是一个用来处理声音的模块，其含义为“混音器”。游戏中对声音的处理一般包括制造声音和播放声音两部分，这里仅学习了播放声音部分。1、pygame.mixer启动与初始化pygame....

pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方式。具体实现在windows上远程linux开发和调试的代码步骤如下：选择Too...

下面我们看看用scrapy模拟登录的基本写法：　　注意：我们经常调试代码的时候基本都用chrome浏览器，但是我就因为用了谷歌浏览器（它总是登录的时候不提示我用验证码，误导我以为登录时不需要验证码，其实登录时候必须要验证码的），这里你可以多试试几个浏览器，一定要找个提示你输入验证码的浏览器调试。　　1、我们登录的时候，...

 一、背景：　　小编在爬虫的时候肯定会遇到被封杀的情况，昨天爬了一个网站，刚开始是可以了，在settings的设置DEFAULT_REQUEST_HEADERS伪装自己是chrome浏览器，刚开始是可以的，紧接着就被对方服务器封杀了。代理：　　代理，代理，一直觉得爬去网页把爬去速度放慢一点就能基本避免被封杀，...

背景：　　刚开始学习scrapy爬虫框架的时候，就在想如果我在服务器上执行一个爬虫任务的话，还说的过去。但是我不能每个爬虫任务就新建一个项目吧。例如我建立了一个知乎的爬行任务，但是我在这个爬行任务中，写了多个spider，重要的是我想让他们同时运行，怎么办？小白解决办法：　　1、在spiders同目录下新建一个run....

scrapy的pipeline是一个非常重要的模块，主要作用是将return的items写入到数据库、文件等持久化模块，下面我们就简单的了解一下pipelines的用法。案例一：　　items池classZhihuuserItem(scrapy.Item):#definethefieldsforyouritemhere...

 简介：　　Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。　　其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amaz...

Anaconda是一个用于科学计算的Python发行版，支持Linux,Mac,Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理，并且已经包含了Python和...

　　Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。　　Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、si...

Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他key-value缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list...

　　PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web标准：DOM操作，CSS选择器，JSON，Canvas以及SVG。　　1、无UI界面的网站测试　　2、屏幕快照　　3、页面操作自动化 官方文档：http://phantomjs.org/api/command-lin...

1、下载地址：https://www.mongodb.com/download-center#community下载完成以后下一步下一步安装。 安装路径还需要建立一个数据库存储位置C:mongodbdatadb 2、添加环境变量，然后打开cmd执行如下命令告诉数据库数据存储位置。#mongod--d...

PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery是Python仿照jQuery的严格实现。语法与jQuery几乎完全相同，所以不用再去费心去记一些奇怪的方法了。官网地址：http://pyquery.readth...

一、简介　　XPath是一门在XML文档中查找信息的语言。XPath可用来在XML文档中对元素和属性进行遍历。XPath是W3CXSLT标准的主要元素，并且XQuery和XPointer都构建于XPath表达之上。 　　参照二、安装pip3installlxml　三、使用　　1、导入fromlxmlimpor...