最近突然得知之后的工作有很多数据采集的任务，有朋友推荐webmagic这个项目，就上手玩了下。发现这个爬虫项目还是挺好用，爬取静态网站几乎不用自己写什么代码（当然是小型爬虫了~~|）。好了，废话少说，以此随笔记录一下渲染网页的爬取过程首先找到一个js渲染的网站，这里直接拿了学习文档里面给的一个网址，http://ang...

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。1.查看官网官网地址为:http://webmagic.io/官网详细文档:http://webmagic.io/docs/zh/2.跑通helloworld示例(具体可以参考官网，也可以参考博客)我下面写的...

大概在1个月前，利用webmagic做了一个爬虫项目，下面是该项目的一些个人心得，贴在这里备份：一、为什么选择webmagic?说实话，开源的爬虫框架已经很多了，有各种语言（比如：python、java）实现的，有单机的，还有大型分布式的，多达上百种，详情可见：http://www.oschina.net/projec...