昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是...

首先，我们来分析一下，在博主的首页里，每个文章的标题在网页源码中是什么样子的。【插入图片，文章标题1】【插入图片，文章标题2】通过这两个图片我们可以看出，博文标题所在的标签为，并且具有class属性为"postTitle2"，其href属性就指向这篇博文的地址。如下面代码所示：<aid=&qu...

在iis7中默认的mime类型并不包含所有的后缀名文件，像现在比较热门的apk，ipa文件都是需要手动添加的。至于添加的方法百度一下大家就都知道到了，这里小编要说的是，如果你的iis7中有很多个网站都需要设置mime类型，然后每个都要设置一遍apk，ipa，3gp等这样的后缀名的话，会觉的有点繁琐，而且容易忘记设置了哪...

以前的手机不用了，许多老照片和其他文件都散落在各个位置，不好整理。一个一个的翻阅的话，如果文件都在好几层文件夹之中那么想收集起来这些文件将会异常困难，会很慢还可能会漏掉某些文件，不如用脚本把所有文件都列出来。从网上找类似的工具，竟然没有找到。就尝试着自己写一个。基本思路（和爬虫基本思想差不多）就是递归的遍历文件夹，找到...