python3.4学习笔记(十四)网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例新浪爱彩双色球开奖数据URL：http://zst.aicai.com/ssq/openInfo/最终输出结果格式如：2015075期开奖号码：6,11,13,19,21,32,蓝球：4直接用python源码写的抓取双色球最新开奖数据的代码，没使用框架，直接用字符串截取的方式写的，经过测试速度还是很快的使用pyspider可以轻松分析出需要的内容，不过需要部署框架对只抓取特定内容的小应用来说也没多大必要一般的抓取网页的使用beautifulsoup就足够了，pyspider真正做爬虫类的应用才需要用到python3.4学习笔记(十七)网络爬虫使用Beautifulsoup4抓取内容-流风，飘然的风-博客园http://www.cnblogs.com/zdz8207/p/python_learn_note_17.html使用BeautifulSoup4对比直接使用字符串查找截取的方式要更加直观和简洁。把代码作为开源项目了，热血狂徒/zyspider-代码托管-开源中国社区http://git.oschina...

python3.4学习笔记(十三)网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI,采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。用pyspider的demo页面创建了一个爬虫，写一个正则表达式抓取多牛网站上特定的URL，很容易就得到想要的结果了，可以非常方便分析抓取页面里面的内容binux/pyspider·GitHubhttps://github.com/binux/pyspiderhttp://docs.pyspider.org/en/latest/Dashboard-pyspiderhttp://demo.pyspider.org/ztest-Debugger-pyspiderhttp://demo.pyspider.org/debug/ztest那个demo网站还可以直接在线保存自己创建编辑过的代码的看了pyspider的源码web端是用tornado框架做的，使用PhantomJS渲染带JS...

WindowsServer2008中使用计划任务定时执行BATbat进行PHP脚本的执行一、首先进行任务管理器设置 每隔1分钟执行.BAT文件配置首先WindowsServer2008不同于其他服务器操作系统和WindowsServer2003有着很大的区别，计划任务的名称是“任务计划程序”不在控制面板里，而是在“管理工具”里。由于服务器需要做些任务，定时执行，自己写程序吧，麻烦，所以采用BAT进行代替操作，网络上很多人都在说每分钟执行怎么配置，今天我们就配置一下。打开“任务计划程序”–点击“任务计划程序库”在右则会看到操作项里有“创建基本任务”和“创建任务”如图所示： 点击“创建任务”后如图所示：填写好相应的名称和勾选好必要的条件  选择“触发器”选项，点击“新建”，创建任务执行时间，“重复任务间隔&rdqu...

http://blog.csdn.net/djd1234567/article/details/51741557http://rfyiamcool.blog.51cto.com/1030776/1276364?utm_source=tuicool&utm_medium=referral...

利用Python3编写爬虫，从笔趣阁抓个小说下载。importreimporturllib.requestimporttimeimporteasyguiasg#输入地址g.msgbox("利用Python3编写爬虫，从笔趣阁抓个小说下载到手机查看")msg="输入小说地址，例如http://www.biquge.com.tw/0_213/"title='爬虫'root=g.enterbox(msg,title)#伪造浏览器headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)''AppleWebKit/537.36(KHTML,likeGecko)''Chrome/62.0.3202.62Safari/537.36'}req=urllib.request.Request(url=root,headers=headers)withurllib.request.urlopen(req,timeout=1)asresponse:#大部分的涉及小说的网页都有charset='gbk'，所以使用gbk编码htmls=response....

　　现在的登录系统几乎都是带验证手段的，至于验证的手段也是五花八门，当然用的最多的还是验证码。不过纯粹验证码识已经是很落后的东西了，现在比较多见的是滑动验证，滑动拼图验证（这个还能往里面加广告）、点击图片特定位置确认（同样能放广告），再或者谷歌的No-CAPTCHA。总之纯粹的验证码效果不好，成本也不如一众新型验证码，迟早是要被全部淘汰的，但现在仍然有很多地方在使用传统的图片验证码。所以提到自动模拟登录，验证码识别肯定也是需要进行研究的。 　　 　　由于我此前并没有接触过验证码识别的相关知识，所以在开工前在网上查找了大量的资料，个人觉得对我最有帮助的三篇附在文章最后。 　　在翻阅了大量的博客、文章后我采用的识别方法为pytesser中的image_to_string函数。 　　起先是打算按照某篇文章的介绍，使用libSVM进行人工网络识别，但在完成了图片处理后，我发现使用pytesser进行识别的成功率已经达到了8成以上，便没有继续研究下去（因为我懒…） 　　验证码是别的流程大概是这样的：　　 　　 1...

bs去除特定标签。#urlimporteasyguiasgimporturllib.requestfrombs4importBeautifulSoupimportosimportsysimportreimportconfig.story2asurls#获取urldefset_url():msg="请填写一下信息(其中带*号的项为必填项)"title="爬虫练习"fieldNames=["*小说目录地址","*组装前半段","后半段"]fieldValues=[]fieldValues=g.multenterbox(msg,title,fieldNames)whileTrue:iffieldValues==None:breakerrmsg=""foriinrange(len(fieldNames)):option=fieldNames[i].strip()iffieldValues[i].strip()==""andoption[0]=="*":errmsg+=("【%s】为必填项"%fieldNames[i])iferrmsg=="":breakfieldValues=g.multen...

1.获取糗事百科urlhttp://www.qiushibaike.com/hot/page/2/  末尾2指第2页2.分析页面，找到段子部分的位置，需要一点CSS和HTML的知识3、编写代码1importurllib.request2frombs4importBeautifulSoup3fromurllib.requestimportURLError4fromurllib.requestimportHTTPError5importtime6#调用publicHeaders文件的方法7from爬虫.publicHeadersimportset_user_agent8910#抓取网页11defdownload(pagenum):12url=r'https://www.qiushibaike.com/hot/page/'1314#分页下载15foriinrange(1,pagenum):16#组装url17new_url=url+str(pagenum)18print(new_url)19#有的时候访问某个网页会一直得不到响应，程序就会卡到那里，我让他1秒后自动超时而抛...

自动1、设置动态的useragent1importurllib.requestasure2importurllib.parseasupa3importrandom4frombs4importBeautifulSoup56#动态设置useragent:7defset_user_agent():8agent_list=[9"Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;AcooBrowser;.NETCLR1.1.4322;.NETCLR2.0.50727)",10"Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;AcooBrowser;SLCC1;.NETCLR2.0.50727;MediaCenterPC5.0;.NETCLR3.0.04506)",11"Mozilla/4.0(compatible;MSIE7.0;AOL9.5;AOLBuild4337.35;WindowsNT5.1;.NETCLR1.1.4322;.NETCLR2.0.50727)",12"Mozilla/5.0(Window...

                    网络爬虫很厉害的东西，行业标杆Google，Baidu, 这都不用多说了，网络爬虫就是为其提供信息来源的程序。对于当时的我接触这个东西还是一脸懵逼，也怀疑这些大公司开发的东西岂是我等草民，所能参悟到的。热情还是驱使我买了很多书，看的也是云里雾里，没得到什么灵感。最后在图书馆，找的一本封存在角落里<<网络机器人java编程指南>>给了我很大启发。          开始进入正题，网络爬虫其实是一种机器人程序，什么是机器人程序，就是替人类做重复性工作的程序，比如说:你得到了一份很无趣的工作，你的老板叫你每天把隔壁竞争对手公司网站主页内容复制下来保存到word给他（也没谁了），接下你会打开浏览器，输入隔壁公司的网址，进入主页...

首先我们要安装好pyspider，可以参考上一篇文章。从一个web页面抓取信息的过程包括：1、找到页面上包含的URL信息，这个url包含我们想要的信息2、通过HTTP来获取页面内容3、从HTML中提取出信息来4、然后找到更多的URL，回到第2步继续执行~我推荐一部小说给大家《恶魔法则》。今天我们从网上将这部小说的内容按照章节下载下来。小说目录的url为https://www.ybdu.com/xiaoshuo/4/4646/我们现在控制台命令行中输入pyspiderall，命令，然后打开浏览器，输入http://localhost:5000/。点击右面的Create按钮，输入项目名称，点击创建即可。【插入图片，创建项目】创建项目之后，在浏览器出现一个框架，左面是结果显示区，最主要的是一个run命令。右面是我们输入代码的内容。由于这个代码编辑界面不太友好，建议我们将代码拷贝到pycharm中，编辑好或者修改好之后再复制回来运行。【插入图片，空白项目内容】我们如果访问https页面，一定要添加validate_cert=False，否则会报SSL错误。这一步主要是获取目录页。这个方法会获取...

Pyspider是python中的一个很流行的爬虫框架系统，它具有的特点如下：1、可以在Python环境下写脚本2、具有WebUI，脚本编辑器，并且有项目管理和任务监视器以及结果查看。3、支持多种数据库4、支持定义任务优先级，自动重试链接。。。5、分布式架构等等优点。pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫。教程:http://docs.pyspider.org/en/latest/tutorial/文档:http://docs.pyspider.org/发布版本:https://github.com/binux/pyspider/releasesfrompyspider.libs.base_handlerimport*classHandler(BaseHandler):crawl_config={}@every(minutes=24*60)defon_start(self):self.crawl('http://scrapy.org/',callback=self.index_page)@config(age=10*24*60*60)defindex_pa...

Openpyx是一个用于读写Excel2010各种xlsx/xlsm/xltx/xltm文件的python库。现在大多数用的都是office2010了，如果之前之前版本的可以使用xlrd读，xlwt写，这里就不介绍了。fromopenpyxlimportWorkbookwb=Workbook()#创建一个工作簿ws=wb.active#获取工作的激活工作表ws['A1']=42#在A1中插入内容ws.append([1,2,3])#这里其实是在第二行插入了3个数字，占用了三个单元格importdatetimews['A2']=datetime.datetime.now()#在A2中插入了当前时间，把上一句的那个1挤掉了wb.save('sample.xlsx')#保存到当前目录创建一个workbook一般创建workbook后至少会有一个worksheet，我们可以通过active属性来获取。我们还可以通过create_sheet()方法来创建新的worksheet。一般默认创建的sheet的名字是序列化的，我们可以更改title属性来设置想要的名称。一旦我们指定了名称，可以使用key...

在爬取一些比较友好的网站时，仍然有可能因为单位时间内访问次数过多，使服务器认定为机器访问，导致访问失败或者被封。如果我们使用不同的ip来访问网站的话，就可以绕过服务器的重复验证，使服务器以为使不同的人在访问，就不会被封了。网络上有很多提供代理ip的网站，我们经常使用的一个是西刺免费代理ip，url='http://www.xicidaili.com/'我们来看一下这个网站的构成：【插入图片，西刺代理页面】我们获取这个页面上的所有ip即可。一个合理的代理ip的格式是这样的：{'http':'http://106.46.136.112:808'}也就是说每个代理是一个字典，这个字典中可以有很多个ip，每个代理ip都是以http为key。当然考虑到字典的特性，如果我们只获取http为key的代理，那么这个字典中只能有一个元素。我们就简单点，只考虑http的情况。通过PyQuery来解析西刺的源代码，所有的ip都在一个tr里面，但是有些tr是标题，我们过滤一下就可以了。由于页面比较简单，这里就不做介绍了。我们以requests库为例：importrequests#这个字典可以只有一个键值对，如...

昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是豆瓣认为在访问的就是一个用户，而不是机器。【插入图片，我的cookie】我们首先要登陆自己的豆瓣账户，随便点击一个评论页面，在请求信息里面，找到cookie，保存下来。我们先看一下评论页面的url特点，或者说请求网址的构成。https://movie.douban.com/subject/26378579/comments?start=20&limit=20&sort=new_score&status=P&percent_type=一看上面的url，我们就能分析出来这又是一个参数传递的url，前面的地址是这部电影的url，我们通过昨天的学习，应该能够得到并且已经保存在数据库中了。【插入图片，评论url参数】改变start的值，就可以得到很多...