51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#CURL技术知识教程
爬虫技术:数据处理josn和pickle模块
一:json模块json模块的作用就是讲json字符串("{"a":1,"b":1}")和python能够识别的字典进行相互转换。importjsonimportpicklea="""{'a'::1,'c':2}"""ret=json.loads(a)print(ret)#结果json.decoder.JSONDeco...
IT猿
·
2020-03-28
爬虫
技术
数据处理
josn
pickle
爬虫技术:爬取淘宝美食数据:崔庆才思路
#TODOselenium已经被检测出来 importrandomimportreimporttimefromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimpo...
IT猿
·
2020-03-28
爬虫
技术
爬取
淘宝
美食
爬虫技术:爬取今日头条数据-崔庆才思路
一.urllib库中将字典转化为url的查询参数二.请求异常的处理,以及内部的判断逻辑 1.返回的json数据为空:原因是requests的请求对象没有加请求头和cookiesimportrequestsfromurllib.parseimporturlencodedefget_page_index():data={...
IT猿
·
2020-03-28
爬虫
技术
爬取
今日
头条
爬虫技术:cookies池的维护
一:为什么要维护cookie 1.登录才能爬取内容 2.爬取频繁会被封号。 3.需要维护多个账号的cookie,实现大规模抓取二:cookies的要求 1.自动登录更新 2.定期筛选验证 3.提供外部接口三:cookies池的架构#TODO崔庆才基于Flask和redis动态维护cookies池:https...
IT猿
·
2020-03-28
爬虫
技术
COOKIEs
维护
kickstart技术安装操作系统
kickstart是RedHat公司开源的软件,所以对CentOS兼容性最好。原理:我们将手动安装的所有的详细步骤记录到一个文件中,然后kickstart通过读取这个文件就可以实现自动化安装系统。kickstart是一个项目的名称。没有这个软件。使用者水平是高中以上cobbler是对kickstart的所有...
IT猿
·
2020-03-28
kickstart
技术
安装
操作系统
js基础知识4
原文链接:https://book.apeland.cn/details/361/#3.getElementsByClassName()方法DOM介绍1.文档:DOM中的”D”DOM是”DocumentObjectModel“(文档对象模型)的首...
IT猿
·
2020-03-28
js
基础知识
js基础知识3
系统对话框方法警告框window.alert('mcw');效果显示 确认框vara=window.confirm('你确定要离开网站?');console.log(a); 如果点击确定,a的值返回true,点击取消,a的值返回false弹出框varname=window.p...
IT猿
·
2020-03-28
js
基础知识
mysql安装教程以及配置快捷方式
1.首先双击exe 3.Next 安装过程省略.... &nb...
IT猿
·
2020-03-28
mysql
安装
教程
以及
配置
linux c/c++ GDB教程详解(转)
http://www.gnu.org/manual/http://www.gnu.org/software/gdb/documentation/http://sourceware.org/gdb/current/onlinedocs/gdb/ http://blog.csd...
IT猿
·
2020-03-27
linux
c++
GDB
教程
详解
技术书单(部分)
书籍名称 购买链接《Python编程(第4版套装上下册)》https://item.jd.com/11598704.html《Python3网络爬虫开发实战》https://item.jd.com/12333540.html#crumb-wrapPythonCookbook(第3版)中文版流畅的P...
IT猿
·
2020-03-27
技术
书单
部分
vue 基础知识 随笔
window.localStorage.gettItem("someItem"||[])//如果localStorage中的someItem不存在就返回一个空数组window.localStorage.setItem("someItem",someValue)//向localStrorage中存入一个便变量someIt...
IT猿
·
2020-03-27
vue
基础知识
随笔
单片机小白学步系列(十) 单片机程序下载相关知识
注:本篇在写《单片机入门指南系列》之前就已经写过,如今发现这篇比較合理的位置,应该是放在《单片机入门指南系列(六)单片机最小系统——麻雀虽小,五脏俱全》之后的,可是因为之前考虑不周,所以仅仅好放在这里了。也就不又一次改动文章的位置了。作为基础知识补充,本篇具体介绍了串口、51单片机的ISP下载等知识,尽管这些知识并不一...
IT猿
·
2020-03-27
单片机
小白
学步
系列
程序下载
WordPress插件开发实例教程
说明:本教程仅限学习,高手请绕道开发程序:WordPress3.9-RC1使用主题:TwentyFourteen在开始之前,需要注意三件事情I、给插件取一个个性化的名字,越个性化越好,以防和其他插件重名冲突。II、代码里面,一定要包含注释,不为自己,也要为想修改你代码的别人想想。III、尽量用最新版的WordPress...
IT猿
·
2020-03-27
WordPress
插件
开发实例
教程
一整套WordPress模板制作的教程
WordPress基本模板文件一套完整的WordPress模板应至少具有如下文件:style.css:CSS(样式表)文件index.php:主页模板archive.php:Archive/Category模板404.php:NotFound错误页模板comments.php:留言/回复模板footer.php:Foo...
IT猿
·
2020-03-27
一整套
WordPress
模板
制作
教程
流动的推荐系统——兴趣Feed技术架构与实现
我们经常谈论的推荐系统(RecommenderSystem),从形式上看是比较“静态”的推荐,通常位于网页主要信息的周边,比如电商网站的“看了又看”、“买了又买”。这种推荐系统在大多数场景下无法独立撑起一款产品。依据维基百科RecommenderS...
IT猿
·
2020-03-27
流动
推荐
系统
兴趣
Feed
首页
上一页
...
201
202
203
204
205
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他