Python
Python爬虫笔记
本次学习的教学视频来自嵩天老师的网络爬虫教学，主要学习内容有requestsBeautifulSoupscrapye，目前除了scrapy其他刚好看完。并搬运实现了一些小项目如58同城租房信息爬取、淘宝搜索商品项目，现将从爬虫基本方法、实战和遇到的问题三个方面进行总结。 1.基本方法 首先就是requests库，是...
Python -- 限流 throttle
前言一个业务型的服务，被open接口后，遭遇并发扫数据，于是要做限流操作。一直固执的认为，业务API和OpenAPI要分开处理，或许因为起初接入其他企业ERP系统都是走较为规范的OpenAPI，始终对于这种开发系统业务API的做法感觉不好。窗口限流需求是要在Django的一个工程里做限流，倘若是rest_framewo...
python redis lua 脚本 实战一个限流或抢红包等业务
1.lua是什么2.redis，lua，python(java)三者的关系3.用lua承载业务逻辑减少网络开销。可以将多个请求通过脚本的形式一次发送，减少网络时延原子操作。redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件，无需使用事务。复用。客户端发送的脚步会...
利用redis-lua+python实现接口限流
公司目前在市面上有大量的机器在运转。每天对接到服务器就有数百万的请求过来，无形中消耗了带宽和计算资源。可以通过一定的策略来过滤掉部分请求，保证服务器的稳定。扩展阅读：1.当然这层逻辑既可以落到接入层，也可以落到业务层。这里为了不影响线上其它业务，保证系统的稳定和代码可追溯。也方便实行最小验证，我把它落在业务层。2.限流...
Python 远程部署利器 Fabric 模块详解
简介入门使用fabric的命令行参数常用的对象和方法介绍 fabric中的envfabric提供的命令fabric的上下文管理器装饰器fabric的taskfabric的hostfabric的rolefabric的执行模型其他装饰器常用的功能函数封装taskutils函数带颜色的输出 确认信息使用Fabric源码安装r...
Python自动化部署工具-Fabric
今天分享一个Python的自动化发布工具—Fabric。我在前面文章「Linux系列开坑记(一)-常用的3个命令」说了tar，rsync，supervisor这三个，从打包上传备份上线，进程管理工具。我相信细心的读者发现了，但是这里其实还缺一个工具。那就是衔接这三个步骤的工具，它可以通过SSH，让我们在远端...
python中，用Redis构建分布式锁
在实际应用场景中，我们可能有多个worker，可能在一台机器，也可能分布在不同的机器，但只有一个worker可以同时持有一把锁，这个时候我们就需要用到分布式锁了。这里推荐python的实现库，Redlock-py(Python实现).正常情况下，worker获得锁后，处理自己的任务，完成后自动释放持有的锁，是不是感觉有...
Python使用requests時遇到Failed to establish a new connection
再寫Zeppelin的CLI工具的時候https://github.com/del680202/zdairi遇到了開起太多connection這樣一個錯誤requests.exceptions.ConnectionError:HTTPConnectionPool(host='xxxxx',port=xxxxx):Max...
python grpc+jwt+s3 对用户token进行验证
写在前面：用户信息是存储在aws的s3上，现在要做到用户登陆创建新token，访问api，验证token。目录结构：1.grpc部分：第一步，序列化，规定api方法及参数等。。syntax="proto3";packageauthsvc;"""InPython,thepackagedirectiveisignored,...
在Python中使用gRPC的方法示例【h】
本文介绍了在Python中使用gRPC的方法示例，分享给大家，具体如下：使用ProtocolBuffers的跨平台RPC系统。安装使用pip?12pipinstallgrpciopipinstallgrpcio-toolsgoogleapis-common-protosgRPC由两个部分构成，grpcio和gRPC工具...
grpc| python 实战 grpc【h】
title:grpc|python实战grpcdescription:只要代码可以跑起来,很多难题都会迎刃而解.so,keepcodingandstayhungry.之前用swoole写server时就接触过protobuf,本来以为基于protobuf的grpc,上手起来会轻轻松松,没想到结结实实的折腾了许久,从ph...
gRPC Python 入门到生产环境
所有的代码在https://github.com/xsren/learning_record/tree/master/grpc，欢迎star。一、先了解几个概念RPCRPC（RemoteProcedureCall）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。g...
python分布式环境下的限流器
项目中用到了限流，受限于一些实现方式上的东西，手撕了一个简单的服务端限流器。服务端限流和客户端限流的区别，简单来说就是：1）服务端限流对接口请求进行限流，限制的是单位时间内请求的数量，目的是通过有损来换取高可用。例如我们的场景是，有一个服务接收请求，处理之后，将数据bulk到Elasticsearch中进行索引存储，b...
Python flask 与 GO WEB服务器性能对比
测试环境：系统：CentOS7.1Mem:8GCPU:虚拟机16核Python版本：python3.6Flask版本：0.12.2Golang版本：1.6.31.首先写一个Flask的web程序，只返回一个Helloword!fromflaskimportFlask,render_templateapp=Flask(_...
