51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#REQUEST
爬虫实例之使用requests和Beautifusoup爬取糗百热门用户信息
这次主要用requests库和Beautifusoup库来实现对糗百的热门帖子的用户信息的收集，由于糗百的反爬虫不是很严格，也不需要先登录才能获取数据，所以较简单。思路，先请求首页的热门帖子获得用户详情链接，然后请求用户详情页，用Beautifusoup解析得到基本的用户信息代码：1#!/usr/bin/envpyth...
代码星球
·
2020-04-10
爬虫
实例
使用
requests
Beautifusoup
requests.post处理Content-Type: multipart/form-data的请求
前几天遇到一个需求，要调用一个接口发送请求，抓包之后得到的数据是这样的 上网看了一些资料得知，原来这个接口的数据是通过multipart/form-data格式传过去的，multipart/form-data就是使用表单上传文件，是基于post方法来传递数据的，并且其请求内容格式为Content-Type:m...
代码星球
·
2020-04-10
requests.post
处理
Content-Type
multipart
form-data
python爬虫之requests库
发送http请求的第三方库，兼容python2和python3pipinstallrequestsimportrequests发送请求response=requests.get(url)response=requests.post(url)响应内容请求返回的值是一个response对象，是对http协议服务端返回数据的...
代码星球
·
2020-04-10
python
爬虫
requests
Uncaught (in promise) DOMException: The play() request was interrupted by a call to pause().
解决方法：audio.load()letplayPromise=audio.play()if(playPromise!==undefined){playPromise.then(()=>{audio.play()}).catch(()=>{})}原因：从Chrome50开始，对<video>或&...
代码星球
·
2020-04-10
Uncaught
in
promise
DOMException
The
爬虫之requests
1.爬虫介绍1.1什么是爬虫 互联网最有价值的就是资源，爬虫要做的就是爬取资源，比如链家网的租房信息，拉勾网的求职信息，岛国的资源等等1.2爬虫流程 发送请求------>获取响应------>爬取资源(下载资源)------>解析数据------>数据持久化(mongodb数据库，redi...
代码星球
·
2020-04-10
爬虫
requests
Restframework中的Request
1.介绍该篇博客主要介绍restframework内置的Request类，它扩展了Django中的Request类，实现了很多方便的功能--如请求数据解析和认证等。如： 在APIView中封装的request，就实现了请求数据的解析：对于GET请求的参数我们通过request.query_params来获取。...
代码星球
·
2020-04-10
Restframework
中的
Request
request的用法
Request从几个集合取数据是有顺序的，从前到后的顺序依次是QueryString,Form,最后是ServerVariables。Request对象按照这样的顺序依次搜索这几个集合中的变量，如果有符合的就中止，后面的就不管了。现在我们来分析下你得问题.假设有个页面test.asp?id=111这里我们的页面是用GE...
代码星球
·
2020-04-09
request
用法
爬虫请求库之requests库
一、介绍介绍：使用requests可以模拟浏览器的请求，比之前的urllib库使用更加方便注意：requests库发送请求将网页内容下载下来之后，并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求安装：pipinstallrequests常用的请求方式：requests.get(),reque...
代码星球
·
2020-04-09
爬虫
请求
库之
requests
wx.request 请求
wx.request1.wx.request相当于ajax请求，和django后台进行交互官方文档：https://developers.weixin.qq.com/miniprogram/dev/api/network/request/wx.request.html参数Objectobject ...
代码星球
·
2020-04-09
wx.request
请求
DRF框架（一）——restful接口规范、基于规范下使用原生django接口查询和增加、原生Django CBV请求生命周期源码分析、drf请求生命周期源码分析、请求模块request、渲染模块render
DRF框架 全称：django-restframework知识点1、接口：什么是接口、restful接口规范2、CBV生命周期源码-基于restful规范下的CBV接口3、请求组件、解析组件、响应组件4、序列化组件(灵魂)5、三大认证(重中之重)：认证、权限(权限六表)、频率6、其他组件：过滤、筛...
代码星球
·
2020-04-09
请求
接口
规范
原生
生命
Django框架之第四篇（视图层）--HttpRequest对象、HttpResponse对象、JsonResponse、CBV和FBV、文件上传、django settings源码分析
视图层一、视图函数一个视图函数，简称视图，是一个简单的python函数，它接收web请求并且会返回web响应。响应可以是一张网页的html,一个重定向，或者是一张图片。。。任何东西都可以。无论是什么逻辑，最后都必须要返回响应。二、视图层之HttpRequest对象django将请求报文中的请求行，首部信息，内容主体封装...
代码星球
·
2020-04-09
对象
Django
框架
第四
视图
解决MVC 中HttpStatusCodeResult((int)HttpStatusCode.BadRequest, des) 通过StatusDescription 返回中文乱码
c#中httpstatuscoderesult语法如下：publicHttpStatusCodeResult(HttpStatusCodestatusCode,stringstatusDescription)在Action中通过returnnewHttpStatusCodeResult(HttpStatusCode.B...
代码星球
·
2020-04-08
解决
MVC
HttpStatusCodeResult
int
HttpStatusCode.BadRequest
让浏览器不再显示 https 页面中的 http 请求警报<meta http-equiv="Content-Security-Policy" content="upgrade-insecure-requests">
<metahttp-equiv="Content-Security-Policy"content="upgrade-insecure-requests">可以在相应的页面的<head>里加上这句代码，意思是自动将http的不安全请求升级为https HTTPS是HTTPov...
代码星球
·
2020-04-08
浏览器
不再
显示
https
页面
python --爬虫基础 --爬取今日头条 使用 requests 库的基本操作, Ajax
'''思路一:由于是Ajax的网页,需要先往下划几下看看XHR的内容变化二:分析js中的代码内容三:获取一页中的内容四:获取图片五:保存在本地使用的库1.requests网页获取库2.fromurllib.parseimporturlencode将字典转化为字符串内容整理拼接到url3.os操作文件的库4.fromha...
代码星球
·
2020-04-07
python
爬虫
基础
爬取
今日
python --爬虫基础 --爬猫眼top 100 使用 requests 库的基本操作
importrequestsimportreimportjsonimporttimedefget_page(url):#获取页数headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/...
代码星球
·
2020-04-07
python
爬虫
基础
猫眼
top
首页
上一页
...
29
30
31
32
33
...
下一页
尾页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他