U主题的文章列表，还有U的技术要点_第2825页

python3之模块urllib

urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块：request：它是最基本的http请求模块，用来模拟发送请求error：异常处理模块，如果出现错误可以捕获这些异常parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等robotparser：主要用来识别网站的ro...

ymnets ·2020-03-25

python3之模板pycurl探测web服务质量

1、pycurl简介pycURL是libcurl多协议文件传输库的python接口，与urllib模块类似，PycURL可用于从python程序中获取由URL标识的对象，功能很强大，libcurl速度非常快pycurl作为libcurl之上的薄包装，速度也非常快；支持多种协议SSL,身份验证和代理选项；用于网络操作的套...

ymnets ·2020-03-25

python3之模块psutil系统性能信息

psutil是个跨平台库，能够轻松实现获取系统运行的进程和系统利用率，包括CPU、内存、磁盘、网络等信息。它主要应用于信息监控，分析和限制系统资源及进程的管理。它实现了同等命令命令行工具提供的功能，如：ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、i...

ymnets ·2020-03-25

django生产环境搭建（uWSGI+django+nginx+python+MySQL）

1、系统环境，必要知识#cat/etc/redhat-releaseCentOSLinuxrelease7.5.1804(Core)#uname-r3.10.0-862.3.2.el7.x86_64暂时关闭防护墙，关闭selinux：#systemctlstopfirewalld.service#setenforce0...

ymnets ·2020-03-25

python3之安装、pip、setuptools

1、python3安装下载地址：https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz#安装环境centOS7#安装依赖包：yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-dev...

ymnets ·2020-03-25

python3 web测试模块selenium

selenium是一个用于web应用程序测试工具，selenium测试直接运行在浏览器中，就像真正的用户在操作一样，支持的浏览器包括IE(7,8,9,10,11)，mozillafirefox，safari，googlechrom，opera等，可使用java，python等多种语言编写用例脚本。SeleniumPyt...

ymnets ·2020-03-25

python3解析库pyquery

pyquery是一个类似jquery的python库，它实现能够在xml文档中进行jQuery查询，pyquery使用lxml解析器进行快速在xml和html文档上操作，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便1、pyquery安装pip方式安装：$pipinstallpyqu...

ymnets ·2020-03-25

django URLconf调度程序

路由的编写方式是Django2.0和1.11最大的区别所在，Django官方迫于压力和同行的影响，不得不将原来的正则匹配表达式，改为更加简单的path表达式，但依然通过re_path()方法保持对1.x版本的兼容URL是web服务的入口，用户通过浏览器发送过来的任何请求，都会发送到一个指定的URL地址，然后被响应在Dj...

ymnets ·2020-03-25

爬虫实战【10】利用Selenium自动登陆京东签到领金币

今天我们来讲一下如何通过python来实现自动登陆京东，以及签到领取金币。我们先来看一下京东的登陆页面，如下图所示：【插入图片，登陆页面】登陆框就是右面这一个框框了，但是目前我们遇到一个困呐，默认的登陆方式是扫码登陆，如果我们想要以用户民个、密码的形式登陆，就要切换一下。我们看一下这两种登陆方式是如何切换的，通过浏览器...

ymnets ·2020-03-25

爬虫实战【9】Selenium解析淘宝宝贝-获取宝贝信息并保存

通过昨天的分析，我们已经能到依次打开多个页面了，接下来就是获取每个页面上宝贝的信息了。【插入图片，宝贝信息各项内容】从图片上看，每个宝贝有如下信息；price，title，url，dealamount，shop，location等6个信息，其中url表示宝贝的地址。我们通过查看器分析，每个宝贝都在一个div里面，这个d...

ymnets ·2020-03-25

爬虫实战【8】Selenium解析淘宝宝贝-获取多个页面

作为全民购物网站的淘宝是在学习爬虫过程中不可避免要打交道的一个网站，而是淘宝上的数据真的很多，只要我们指定关键字，将会出现成千上万条数据。今天我们来讲一下如何从淘宝上获取某一类宝贝的信息，比如今天我们以“手机”作为关键词，举个例子。【插入图片，淘宝手机页面示意】上面是搜索框，下面显示了很多宝贝信息，最下面是翻页的控制按...

ymnets ·2020-03-25

爬虫实战【2】Python博客园-获取某个博主所有文章的URL列表

首先，我们来分析一下，在博主的首页里，每个文章的标题在网页源码中是什么样子的。【插入图片，文章标题1】【插入图片，文章标题2】通过这两个图片我们可以看出，博文标题所在的标签为，并且具有class属性为"postTitle2"，其href属性就指向这篇博文的地址。如下面代码所示：<aid=&qu...

ymnets ·2020-03-25

爬虫入门【6】Selenium用法简介

一句话，自动化测试工具。它支持各种浏览器，包括Chrome，Safari，Firefox等主流界面式浏览器。如果你在这些浏览器里面安装一个Selenium的插件，那么便可以方便地实现Web界面的测试。换句话说叫Selenium支持这些浏览器驱动。我们在Python里面安装Selenium的话，就可以调用浏览器来访问we...

ymnets ·2020-03-25

爬虫入门【5】PyQuery简介

目前最新的版本是1.3，基于最新版本进行介绍。主要根据PyQuery的官方文档进行了更新。frompyqueryimportPyQueryaspqfromlxmlimportetreeimporturllibdoc=pq('<pid="hello"class="hello"...

ymnets ·2020-03-25

爬虫入门【3】BeautifulSoup4用法简介

首先创建一个我们需要解析的html文档，这里采用官方文档里面的内容：html_doc="""<html><head><title>TheDormouse'sstory</title></head><body><p...

ymnets ·2020-03-25