为您找到搜索结果：815个
四 web爬虫，scrapy模块标签选择器下载图片，以及正则匹配标签
标签选择器对象HtmlXPathSelector()创建标签选择器对象，参数接收response回调的html对象需要导入模块：fromscrapy.selectorimportHtmlXPathSelectorselect()标签选择器方法，是HtmlXPathSelector里的一个方法，参数接收选择器规则，返回列表元素是一个标签对象extract()获取到选择器过滤后的内容，返回列表元素是内容选择器规则 //x 表示向下查找n层指定标签，如：//div表示查找所有div标签 /x 表示向下查找一层指定的标签 /@x 表示查找指定属性,可以连缀如：@id@src [@class="class名称"] 表示查找指定属性等于指定值的标签,可以连缀，查找class名称等于指定名称的标签 /text() 获取标签文本类容 [x] 通过索引获取集合里的指定一个元素 获取指定的标签对象#-*-coding:utf-8-*-importscrapy#导入爬虫模块fromscrapy.selectorimportHt...
三 web爬虫，scrapy模块介绍与使用
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的，也可以应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件：引擎(Scrapy)用来处理整个系统的数据流处理,触发事务(框架核心)调度器(Scheduler)用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回.可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列,由它来决定下一个要抓取的网址是什么,同时去除重复的网址下载器(Downloader)用于下载网页内容,并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)爬虫(Spiders)爬虫是主要干活的,用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。用户...
二 web爬虫，scrapy模块以及相关依赖模块安装
当前环境python3.5，windows10系统 Linux系统安装在线安装，会自动安装scrapy模块以及相关依赖模块pipinstallScrapy手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块安装以下模块1、lxml-3.8.0.tar.gz（XML处理库）2、Twisted-17.5.0.tar.bz2（用Python编写的异步网络框架）3、Scrapy-1.4.0.tar.gz（高级web爬行和web抓取框架）4、pyOpenSSL-17.2.0.tar.gz（OpenSSL库）5、queuelib-1.4.2.tar.gz（Queuelib是用于Python的持久(基于磁盘的)队列的集合）6、w3lib-1.17.0.tar.gz（与web相关的函数的Python库）7、cryptography-2.0.tar.gz（密码学是一种包）8、pyasn1-0.2.3.tar.gz（ASN类型和编解码器）9、pyasn1-modules-0.0.9.tar.gz（ASN的集合。基于协议模块）10、cffi-1.10.0.tar.gz（用于Python...
一 web爬虫，requests请求
requests请求，就是用python的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求这种比较简单，直接利用requests模块发一个请求即可拿到html源码#!/usr/bin/envpython#-*-coding:utf8-*-importrequests#导入模拟浏览器请求模块http=requests.get(url="http://www.iqiyi.com/")#发送http请求http.encoding="utf-8"#http请求编码neir=http.text#获取http字符串代码print(neir)得到html源码<!DOCTYPEhtml><html><head><title>抽屉新热榜-聚合每日热门、搞笑、有趣资讯</title><metacharset="utf-8"/><metaname="keywords"content=...
Redis基于客户端分片的集群案例（待实践）
说明：下面的示例基本都是基于Linux去实现，目的是为了环境的统一，以便于把性能调整到最优。且基于Java。建议生产环境不要使用Windows/MacOS这些。在Java领域，基于客户端进行分片最常用的库应该是Jedis，下面基本是基于Jedis进行实例实践。当然，除了这个还可以基于自己的业务去实现。现在官方已经出到了4.0版本，也同样支持了集群功能，那么现在市面上基本不用客户端去实现分片做集群，主要集中在服务端来达到高可用的Redis集群，所以，是否有必要客户端去实现集群，需要在自己的业务上来深入考究。同样的，除了官方集群外，还有很多成熟的方案去实现服务端集群，比如推特、豌豆荚这些官方开源的方案等。在客户端进行分片来达到集群的效果，最简单的理解应该是这样：A和B两个Key，通过Hash得到A放在Redis1，B放在Redis2中。（先忽略Redis其中一台挂掉的问题，对于算法远没有在这里说的那么简单）。分片的大致原理都是基于Hash算法来制定哪个Key放到哪个Redis中。在这篇http://www.cnblogs.com/EasonJim/p/7625738.html文章中提到的几...
Python 爬虫入门（二）—— IP代理使用
上一节，大概讲述了Python爬虫的编写流程，从这节开始主要解决如何突破在爬取的过程中限制。比如，IP、JS、验证码等。这节主要讲利用IP代理突破。 1.关于代理 简单的说，代理就是换个身份。网络中的身份之一就是IP。比如，我们身在墙内，想要访问google、u2b、fb等，直接访问是404，所以要换个不会被墙的IP，比如国外的IP等。这个就是简单的代理。 在爬虫中，有些网站可能为了防止爬虫或者DDOS等，会记录每个IP的访问次数，比如，有些网站允许一个IP在1s（或者别的）只能访问10次等，那么我们就需要访问一次换一个IP（具体什么策略，自己决定）。 那么问题来了，这些代理从哪得到？对于公司来讲，买代理IP。但是对于个人的话，可能会有浪费。那么怎么办呢？网上有很多免费的代理IP网站，但是手动更改的话，很浪费时间，并且免费的IP有很多不可用。所以，我们可以用爬虫爬那么IP。用上一节的代码，完全可以做到。这里我们用http://www.xicidaili.com/nn/1测试，声明：仅学习交流，切勿用作商业用途等 2.获取代理IP，代码如下： #encoding=utf8im...
Python爬虫库-Beautiful Soup的使用
如在上一篇文章通过爬虫爬取漫画图片，获取信息纯粹用正则表达式进行处理，这种方式即复杂，代码的可阅读性也低。通过BeautifulSoup库，我们可以将指定的class或id值作为参数，来直接获取到对应标签的相关数据，这样的处理方式简洁明了。当前最新的BeautifulSoup版本为4.4.0，BeautifulSoup3当前已停止维护。BeautifulSoup4可用于Python2.7和Python3.0，本文示例使用的Python版本为2.7。博主使用的是Mac系统，直接通过命令安装库：sudoeasy_installbeautifulsoup4安装完成后，尝试包含库运行：frombs4importBeautifulSoup若没有报错，则说明库已正常安装完成。开始本文会通过这个网页http://reeoo.com来进行示例讲解，如下图所示1.jpgBeautifulSoup对象初始化将一段文档传入BeautifulSoup的构造方法，就能得到一个文档对象。如下代码所示，文档通过请求url获取：#coding:utf-8frombs4importBeautifulSoupimport...
定向爬虫
阅读目录一.抓包利器Fiddler二.Cookies与保持登录三.Cookies模拟登录四.使用Post提交数据的方法实现模拟登录当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息。模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容。实现微博登录的方法有很多，一般我们在模拟登录时首选WAP版。因为PC版网页源码中包括很多的js代码，提交的内容也更多，不适合机器模拟登录。我们实现微博登录的大体思路是这样的：用抓包工具把正常登录时要提交的字段都记录下来;模拟提交这些字段;判断是否登录成功;原理很简单，让我们一步一步来实现吧。在电脑和互联网之间的通信是通过不同的数据包收发来实现的。Fiddler可以从中间对数据进行拦截，拷贝一份数据以后再将数据发送给目的端。(这也是为什么说咖啡馆的公共WIFI不安全的原因)同类的还有WireShark。为何这儿不用WireShark呢？Wireshark太过于专业了，它可以实现抓取各种包，抓下来的包也很乱，针对性没Fiddler那么强。下载安装 1.下载地址：http://www.telerik.com...
Python 爬虫入门之爬取妹子图
来源：李英杰 链接：https://segmentfault.com/a/1190000015798452 听说你写代码没动力？本文就给你动力，爬取妹子图。如果这也没动力那就没救了。 GitHub地址: https://github.com/injetlee/Python/blob/master/%E7%88%AC%E8%99%AB%E9%9B%86%E5%90%88/meizitu.py 爬虫成果 当你运行代码后,文件夹就会越来越多，如果爬完的话会有2000多个文件夹，20000多张图片。不过会很耗时间，可以在最后的代码设置爬取页码范围。 本文目标 1.熟悉Requests库，BeautifulSoup库2.熟悉多线程爬取3.送福利，妹子图 网站结构 我们从http://meizitu.com/a/more_1.html这个链接进去，界面如图一所示 图一 可以看到是一组一组的套图，点击任何一组图片会进入到详情界面，如图二所示 图二 可...
公众号开发之wx-tools+springboot应用实战-音乐爬虫推送[JAVA]
springboot+wx-tools实践！音乐爬虫推送公众号DEMOGitHub地址：wx-tools最终DEMO源码地址:music_collector先理一下大概的开发步骤：1.创建一个Web工程（可以是Servlet/SpringWeb/Springboot）2.pom引入wx-tools/手动引入wx-tools.jar包（可以去github下载自己build）3.编写wx.properties配置文件4.接入微信公众平台，验证服务器地址的有效性5.实现自己的业务逻辑简单吗？接下来一起写一个简单的Demo吧1.创建web项目注意！本demo使用的是SpringBoot，如果你使用原生servlet，原理是一样的。这里就不再演示。使用maven创建，或者在eclipse/IDEA创建web项目。如何创建web项目，相信大家都会的了。就不详细介绍了。如果不会，自行度娘。基于SpringBoot爬虫项目这里我我基于springBoot创建了一个项目名为：music_collectormusic_collector是一个爬虫项目，爬取各大音乐网的排行榜，并且可以支持设置关键字，来查询...
python 多线程，多进程，高效爬虫
1.多线程fromconcurrent.futuresimportThreadPoolExecutorimportrequestsdeffetch_async(url):response=requests.get(url)returnresponseurl_list=['http://www.github.com','http://www.bing.com']pool=ThreadPoolExecutor(5) #线程池forurlinurl_list: #迭代器pool.submit(fetch_async,url)pool.shutdown(wait=True)2.多进程fromconcurrent.futuresimportProcessPoolExecutorimportrequestsdeffetch_async(url): response=requests.get(url) returnresponseurl_list=['http://www.github.com','http://www.bing.com'] #...
案例：用Redis来存储关注关系
Redis提供了丰富的数据类型，比起关系型数据库或者简单的Key-Value存储（比如Memcached）来，Redis的数据模型与实际应用的数据模型更相近。比如下面说到的好友关系的存储，原作者使用了Redis的Sets（集合）数据结构。具体存储方式如下：对于每一个用户，其关注关系存储两份列表，一份为此用户关注的人的UID列表，另一份为此用户粉丝的UID列表，这两个列表都使用Sets（集合）。比如对于用户ID为123的用户，graph:user:123:following保存的是其关注人的列表，graph:user:1:followed_by保存的是关注他的人的列表。下面是一个PHP代码的关注关系类，包括了常规的关注关系操作查询等方法，具体可看注释：<?/**Thisexamplewouldprobablyworkbestifyou'reusing*anMVCframework,butitcanbeusedstandaloneaswell.**ThisexamplealsoassumesyouareusingPredis,theexcellent*PHPRedislibrarya...
社会化海量数据采集爬虫框架搭建
随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏览器，输入网址url访问页面内容。2、复制页面内容的标题、作者、内容。3、存储到文本文件或者excel。从技术角度来说整个过程主要为网络访问、扣取结构化数据、存储。我们看一下用java程序如何来实现这一过程。importjava.io.IOException;importorg.apache.commons.httpclient.HttpClient;importorg.apache.commons.httpclient.HttpException;importorg.apache.commons.httpclient.HttpStatus;importorg.apache.commons.httpclient.methods.GetMethod;importorg.apache.common...