上代码：1importrequests,urllib.request2frombs4importBeautifulSoup3url='http://photo.bitauto.com/'4header={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/5...

写这篇blog其实一开始我是拒绝的，因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了：）。言归正传，前端同学可能向来对爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如php，python等。当然这是在nodejs前了，nodejs的出现，使得Javascript也可以用来写爬虫了。由于nodejs...

一、前言：前面一章我们讲述了Scrapy爬虫安装的的过程以及独立空间的创建。本次我们的目标是没有蛀牙！本次我们的目标是没有蛀牙！本次我们的目标是没有蛀牙！好吧，不要打我，我们的目标是了解scrapy项目的结构及通过一个小爬虫来验证其到底有多好用！二、scrapy项目结构首先，我们先执行scrapy命令创建一个scrap...