#python爬虫

python基础之面向对象

  面向过程的程序设计的核心是过程,即解决问题的步骤。   优点是:极大的降低了写程序的复杂度,只需要顺着要执行的步骤,堆叠代码即可。  缺点是:一套流水线或者流程就是用来解决一个问题,代码牵一发而动全身。  应用场景:一旦完成基本很少改变的场景,著名的例子有Linux內核,git,以及ApacheHTTPServer...
代码星球 ·2020-03-30

pipreqs------查找python项目依赖并生成requirements.txt

  项目开发的时候,总是要搭建和部署环境,这时,就需要一个python第三方包的list,一般叫做requirements.txt。如果项目使用virtualenv环境,直接使用pipfreeze即可,但是如果项目的依赖没有维护,就会很麻烦,这时我们就需要一个叫pipreqs的工具,可以帮助我们自动生成requirem...

python基础之函数

  函数能提高应用的模块性和代码的重复利用率,可以避免代码冗余和可读性差。  函数是以功能为导向,函数内部尽量不要有print。定义:def关键词开头,空格之后接函数名称和圆括号(),最后还有一个":"。   def是固定的,不能变,他就是定义函数的关键字。   空格为了将def关键字和函数名分开,必须空(四声),当然...
代码星球 ·2020-03-30

python基础之文件操作

文件句柄=open("文件路径","编码方式","打开方式")比如:f=open("D:常用软件爵士.txt",encoding="utf-8",mode="r")content=f.read()print(content)f.close()#f是变量,表示文件的句柄。f,f_obj,obj,file_hl,file_...
代码星球 ·2020-03-30

python基础之数据类型

  格式化(format)输出中,%s代表字符串占位符,%d代表数字占位符。(python2版本中%f代表小数占位符,%d代表整数占位符。python3版本中所有数字都用%d代表占位符。)  例如:输出用户的姓名、年龄、成绩#第一种写法name=input("请输入姓名:")age=input("请输入年龄:")sco...
代码星球 ·2020-03-30

python基础之初识python

  1989年圣诞节期间,吉多·范罗苏姆为了打发时间,开发了python这门语言。真他妈牛逼。  Python崇尚优美、清晰、简单,是一门优秀并广泛使用的语言。2007年在TIOBE榜上已经排到了第四名,被越来越多的人认可并使用。    目前Python主要应用领域:web开发、云计算、人工智能、系统运维...
代码星球 ·2020-03-30

Python 3 数值计算

Python3.4.3(v3.4.3:9b73f1c3e601,Feb242015,22:43:06)[MSCv.160032bit(Intel)]onwin32Type"copyright","credits"or"license()"formoreinformation.>>>17/3#典型的除法...
代码星球 ·2020-03-29

笔记之Python网络数据采集

非原创即采集一念清净,烈焰成池,一念觉醒,方登彼岸网络数据采集,无非就是写一个自动化程序向网络服务器请求数据,再对数据进行解析,提取需要的信息通常,有api可用,api会比写网络爬虫程序来获取数据更加方便.Chapter1初建网络爬虫一旦你开始采集网络数据,就会感受到浏览器为我们所做的所有细节,它解释了所有的html,...

解决python3 UnicodeEncodeError: 'gbk' codec can't encode character 'xXX' in position XX

从网上抓了一些字节流,想打印出来结果发生了一下错误:UnicodeEncodeError:'gbk'codeccan'tencodecharacter'xbb'inposition8530:illegalmultibytesequence代码importurllib.requestres=urllib.request....

服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站(转)

服务器反爬虫攻略:Apache/Nginx/PHP禁止某些UserAgent抓取网站(转)...

python 实现对象去重

利用set()方法实现对象去重,重写__hash__方法和__eq__方法告诉程序什么样的对象是同一个对象#写一个类拥有100个对象#拥有三个属性nameagesex#如果两个对象的name和sex完全相同#我们就认为这是一个对象#忽略age属性做这100个对象的去重工作classPerson():def__init_...
代码星球 ·2020-03-29

命令行运行python -m http.server报错

最近在学习网站搭建,借助python搭建服务器时,在网站目录启动python服务时报错,如下:UnicodeDecodeError:'utf-8'codeccan'tdecodebyte0xe6inposition0:inva原因如下:计算机->右键->属性看看主机没错到底是啥,如果是中文恭喜你,可以改掉了...

python高级:垃圾回收机制

---恢复内容开始---垃圾回收机制  1.计数引用机制    就是一个变量、数据结构、对象当没有人引用时,python的会启用垃圾回收机制,将其从内存中删除。    怎么看引用的次数呢?sys模块提供的sys.getrefcount(要查的对象)返回引用次数importsysa=1b=1print("删除a之前1的引...

python进阶:装饰器

 1.闭包  简单理解:闭包就是多层函数的嵌套,外层函数的返回值是内层函数的引用。defout_func(n):num=100defin_fucn(*args,**kwargs):     #nonlocalnumifn%2==0:#里面没有修改num的值,直接使用可以,如果变成num+=n则会报错,因此需要...
IT猿 ·2020-03-28

python:图片拼接

一:尺寸相同的图片拼接importosfromPILimportImagewidth_i=200height_i=200row_max=3line_max=3all_path=list()num=0pic_max=line_max*row_maxdir_name=r"C:UsersAdministratorDeskto...
IT猿 ·2020-03-28
首页上一页...362363364365366...下一页尾页