51Dev开发社区
登录 注册

#python爬虫

爬虫入门【6】Selenium用法简介
一句话，自动化测试工具。它支持各种浏览器，包括Chrome，Safari，Firefox等主流界面式浏览器。如果你在这些浏览器里面安装一个Selenium的插件，那么便可以方便地实现Web界面的测试。换句话说叫Selenium支持这些浏览器驱动。我们在Python里面安装Selenium的话，就可以调用浏览器来访问we...
ymnets ·2020-03-25

爬虫入门【5】PyQuery简介
目前最新的版本是1.3，基于最新版本进行介绍。主要根据PyQuery的官方文档进行了更新。frompyqueryimportPyQueryaspqfromlxmlimportetreeimporturllibdoc=pq('<pid="hello"class="hello"...
ymnets ·2020-03-25

爬虫入门【4】正则表达式用法简介
首先推荐使用r'string'来定义字符，免去转义字符的影响。#'.'，点号，在默认模式中，匹配任何一个字符，除了新的行newline。如果DOTALL标记指定了，那么还可以匹配newline。#'^'，匹配字符串的开始#'$'，匹配字符串的结束。比如foo匹配foo或者foobar，但是foo$只能匹配到foo。#'...
ymnets ·2020-03-25

爬虫入门【3】BeautifulSoup4用法简介
首先创建一个我们需要解析的html文档，这里采用官方文档里面的内容：html_doc="""<html><head><title>TheDormouse'sstory</title></head><body><p...
ymnets ·2020-03-25

爬虫入门【2】Requests库简介
使用Requests发送网络请求很简单#首先要导入requests库importrequests#返回一个Response对象r=requests.get('https://github.com/timeline.json')#由此可以看出来Requests的API十分简单，#post请求r=requests.post...
ymnets ·2020-03-25

爬虫入门【1】urllib.request库用法简介
如何使用urllib库获取网络资料打开指定的URLurllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)url参数，可以是一个string，或者一个Request对象。d...
ymnets ·2020-03-25

Python PhatomJS 和Selenium动态加载页面 获取图片内容
如果您觉得感兴趣的话，可以添加我的微信公众号：一步一步学Python![](http://www.51dev.com//FileUpload/news/202003/20200325002543449.jpg)随笔中的代码拷贝自http://www.cnblogs.com/Albert-Lee/p/6275146.ht...
ymnets ·2020-03-25

python定时脚本判断服务器内存
经常我们会发现服务器跑着跑着内存使用率达到了百分之八九十，或者有时候直接挂掉，在我们还没定位是哪块代码有问题导致内存占用很大的时候，可以先写个定时脚本，当服务器内存使用率达到一定值的时候，就重启一起服务，释放内存。下面这个定时脚本是每隔10s去判断一下机器的内存，假如内存使用率超过10%，就重启一下进程（正常情况下内存...
ymnets ·2020-03-25

Python Beautiful Soup学习之HTML标签补全功能
BeautifulSoup是一个非常流行的Python模块。该模块可以解析网页，并提供定位内容的便捷接口。使用下面两个命令安装：pipinstallbeautifulsoup4或者 sudoapt-getinstallPython-bs4如果想安装最新的版本，请直接下载安装包来手动安装，也是十分方便的方法。在...
ymnets ·2020-03-25

python进阶笔记 thread 和 threading模块学习
Python通过两个标准库thread和threading提供对线程的支持。thread提供了低级别的、原始的线程以及一个简单的锁。threading基于Java的线程模型设计。锁（Lock）和条件变量（Condition）在Java中是对象的基本行为（每一个对象都自带了锁和条件变量），而在Python中则是独立的对象...
ymnets ·2020-03-25

Python通过一个网页地址获得网页标题Title
importrequestsfrombs4importBeautifulSoupres=requests.get("https://www.51dev.com")res.encoding='utf-8'#soup=BeautifulSoup(res.text,'lxml')print(soup.title.text)&...
开发笔记 ·2020-03-22

Python基础——原生数据类型（字典，列表，元组，字符串）
字典定义了键值对的1对1管理。1、定义字典请看下面的栗子，我们先创建了一个具有两个元素的字典，每对都是key：value的形式。我们能通过key得到value，但是不能通过value得到key。还可以通过get方法得到对应key的value。d={'server':'mpilgrim','database':'mast...
开发笔记 ·2020-03-18

python正则表达式匹配 模式匹配
．  Python正则式的基本用法1.1基本规则1.2重复1.2.1最小匹配与精确匹配1.3前向界定与后向界定1.4组的基本知识2．  re模块的基本函数2.1使用compile加速2.2match和search2.3finditer2.4字符串的修改与替换3． &nb...
开发笔记 ·2020-03-18

python3.7成功安装dlib库
不知道为什么python3.7版本安装dlib不能直接用pip，真的超级麻烦。然后看了其他一些博客感觉挺复杂的，boost居然也要设置环境变量，而且问题很多。我大概花了一天的时间才总算弄好，而且也不是很复杂。1.先去下载dlib的安装包，网址在这https://pypi.org/project/dlib/#files，...
开发笔记 ·2020-03-17

如何使用python搭建一个高性能的网站
作为一名程序员，还是必须要会开发网站的，不然别人都会怀疑你是不是程序员了。今天，主要介绍一下如何使用python来搭建一个网站。可能有人会觉得搭建网站不都应该用java么？python的性能那么低。的确，使用java来开发网站的确要比python多的多。但实际上还是有很多大型的网站都是使用python搭建起来的，如国外...
开发笔记 ·2020-03-17
首页上一页...385386387388389下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他