51dev.com IT技术开发者社区

51dev.com 技术开发者社区

深圳租房信息爬虫

php学习阅读(103)2019-07-17 收藏0次评论

考虑到以后可能会在深圳工作,所以写了这个爬虫,希望对自己的找房过程提供一些便捷。

信息来源是豆瓣的深圳租房小组(想爬取其他城市只需要更换一下url就好)。

你们一定会说这么麻烦干什么,租房app不是直接看么?我也是这么想的。。。但是租房app上中介比较多,豆瓣上多是个人房源,中介少,比较可靠。但豆瓣app没有筛选功能,只是相当于百度贴吧一样的浏览界面。

所以我提供了价格筛选功能,目前设定的是2000/月。

我把它按标题,帖子链接,正文的顺序保存在txt文件下,便于分享。

以下是效果图↓

因为有些帖子的正文没有内容,所以是空行

代码

因为headers比较长所以我省略了一部分,比较遗憾的是不会操作pdf文件,不然就可以把图片也写进去。(中间因为请求太频繁豆瓣还把我的账号锁定了0.0)

以上就是深圳租房信息爬虫的全部内容。