scrapy是一个专门用于写爬虫的python框架。它将抓取页面内容，处理结果，执行做了很好的模块化处理。1.安装scrapy  准备环境：一定要安装pip,因为用sudoapt-get安装的scrapy版本很旧，会出现很多问题，在ubuntu16.0.4下执行sudoapt-getinstalls...