前文介绍了PhatomJS和Selenium的用法，工具准备完毕，我们来看看如何使用它们来改造我们之前写的小爬虫。我们的目的是模拟页面下拉到底部，然后页面会刷出新的内容，每次会加载10张新图片。大体思路是，用Selenium+PhatomJS来请求网页，页面加载后模拟下拉操作，可以根据想要获取的图片多少来选择下拉的次数...

在上一篇博文中，我们的爬虫面临着一个问题，在爬取Unsplash网站的时候，由于网站是下拉刷新，并没有分页。所以不能够通过页码获取页面的url来分别发送网络请求。我也尝试了其他方式，比如下拉的时候监控http请求，看看请求是否有规律可以模拟。后来发现请求并没有规律，也就是不能够模拟http请求来获取新的数据（也可能是我...

如果您觉得感兴趣的话，可以添加我的微信公众号：一步一步学Python随笔中的代码拷贝自http://www.cnblogs.com/Albert-Lee/p/6275146.ht...