51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#uiautomatorviewer工具的安装与使用
爬虫入门【11】Pyspider框架入门—使用HTML和CSS选择器下载小说
首先我们要安装好pyspider,可以参考上一篇文章。从一个web页面抓取信息的过程包括:1、找到页面上包含的URL信息,这个url包含我们想要的信息2、通过HTTP来获取页面内容3、从HTML中提取出信息来4、然后找到更多的URL,回到第2步继续执行~我推荐一部小说给大家《恶魔法则》。今天我们从网上将这部小说的内容按...
ymnets
·
2020-03-25
入门
爬虫
Pyspider
框架
使用
爬虫入门【10】Pyspider框架简介及安装说明
Pyspider是python中的一个很流行的爬虫框架系统,它具有的特点如下:1、可以在Python环境下写脚本2、具有WebUI,脚本编辑器,并且有项目管理和任务监视器以及结果查看。3、支持多种数据库4、支持定义任务优先级,自动重试链接。。。5、分布式架构等等优点。pyspider的设计基础是:以python脚本驱动...
ymnets
·
2020-03-25
爬虫
入门
Pyspider
框架
简介
爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评
昨天我们已经实现了如何抓取豆瓣上的热门电影信息,虽然不多,只有几百,但是足够我们进行分析了。今天我们来讲一下如何获取某一部电影的所有短评论信息,并保存到mongodb中。豆瓣设置的反爬虫机制是比较简单的,我们可以通过selenium模拟浏览器登陆这种终极办法来绕过,但是更加有效率的方法是设置请求头信息的cookie,是...
ymnets
·
2020-03-25
电影
爬虫
实战
使用
COOKIE
爬虫实战【1】使用python爬取博客园的某一篇文章
博客园比较适合爬虫初学者。我们第一个目标是爬取某个博主的所有博文。第一步,获取某一篇文章。第二步,获取该博主所有文章的url列表。第三步,下载所有文章。第一次实战,我们以博客园为例。Cnblog是典型的静态网页,通过查看博文的源代码,可以看出很少js代码,连css代码也比较简单,很适合爬虫初学者来练习。 博客...
ymnets
·
2020-03-25
爬虫
实战
使用
python
爬取
HTML使用post方式提交中文内容出现乱码的错误解决方式
今天在做一个例子的时候,使用post方式提交表单,如果有中文的话,在另一个页面显示出来的时候,总是会出现乱码;但是将提交方式改为get的时候,就不会出现这种错误。详细错误见下面图片和代码。HTML代码:1<!DOCTYPEhtml>2<html>3<head>4<m...
ymnets
·
2020-03-25
方式
HTML
使用
post
提交
使用Timer类的两个实例 动态时钟
1packagechapter16;23importjavax.swing.*;4importchapter15.StillClock;5importjava.awt.event.*;67publicclassClockAnimationextendsJFrame{8publicclassTimerListenerim...
ymnets
·
2020-03-25
使用
Timer
两个
实例
动态
Java ArrayList的使用方法
首先ArrayList的一个简单实例:1packagechapter11;2importjava.util.ArrayList;34publicclassTestArrayList{56publicstaticvoidmain(String[]args){7//TODOAuto-generatedmethodstub8...
ymnets
·
2020-03-25
Java
ArrayList
使用方法
Java 使用对话框选择文件并输出到控制台
importjava.util.*;importjava.io.*;importjavax.swing.JFileChooser;publicclassReadFileUsingJFileChooser{/***@paramargs*@throwsException*/publicstaticvoidmain(Stri...
ymnets
·
2020-03-25
Java
使用
对话框
选择
文件
ubuntu安装cairo
查看网上大神们的各种安装经过,最后google之后执行下面两句就搞定了:apt-getinstallpython-cairo apt-getinstalllibcairo2...
ymnets
·
2020-03-25
ubuntu
安装
cairo
docker安装执行问题
ubuntu14.04上安装docker问题:sudoapt-getupdatecurl -fsSL https://get.docker.com -o get-docker.shsh get-docker.sh查看docker版本:docker versio...
ymnets
·
2020-03-25
docker
安装
执行
问题
JAVA字符串格式化-String.format()的使用
String类的format()方法用于创建格式化的字符串以及连接多个字符串对象。熟悉C语言的同学应该记得C语言的sprintf()方法,两者有类似之处。format()方法有两种重载形式。format(Stringformat,Object...args)新字符串使用本地语言环境,制定字符串格式和参数生成格式化的新字...
开发笔记
·
2020-03-21
JAVA
字符串
格式化
-String.format
使用
CSS3中毛玻璃效果的使用方法
今天在使用icloud的时候看到苹果icloud官网的毛玻璃效果非常赞,仔细研究了一下它的实现方式,是使用js配合background-image:-webkit-canvas的形式绘制出的毛玻璃背景图片。不过今天又仔细研究了一下css3中的blur方法,可以实现同样的效果。且配合JS可以实现模糊缩放的效果CSS代码....
开发笔记
·
2020-03-20
CSS3
毛玻璃
效果
使用方法
php使用strlen()判断中文汉字字符串长度
用strlen()函数可以简单模糊的判断字符长度了,像如果你是汉字与拼音或编码不一样使用用strlen()函数计算出来的都不一样,下面我来给大家介绍一下用strlen()函数的使用方法吧。们经常会用到了解字符串长度的时候,在PHP里,可以使用strlen()函数来实现。使用方法如下:PHPstrlen()函数定义和用法...
开发笔记
·
2020-03-19
php
使用
strlen
判断
中文
如何使用代理服务器上网
什么是代理服务器 代理服务器(ProxyServer)是网上提供转接功能的服务器,在一般情况下,我们使用网络浏览器直接去连接其他Internet站点取得网络信息时,是直接联系到目的站点服务器,然后由目的站点服务器把信息传送回来。代理服务器是介于客户端和Web服务器之间的另一台服务器,有了它之后,浏览器不...
开发笔记
·
2020-03-19
如何
使用
代理
服务器
上网
windows系统中安装MongoDB的步骤和使用说明
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。那么在windows如何安装Mongodb和环境搭建呢?一、下载安装包和安装下载地址:http...
开发笔记
·
2020-03-18
windows
系统
安装
MongoDB
步骤
首页
上一页
...
918
919
920
921
922
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他