#N

linux学习笔记

 前言:    推荐个Linux命令学习网站:http://man.linuxde.net/    上面的命令很全,分类、解释和举例也很清晰,需要系统学习的同学可以上去看一看。    以下二...
IT猿 IT猿·2020-03-25

UnicodeEncodeError: ‘gbk’ codec can’t encode character u’u200e’ in position 43: illegal multib

【问题】在执行代码时,提示上述错误,源码如下:1#下载小说...2defdownload_stoy(crawl_list,header):34#创建文件流,将各个章节读入内存5withopen('E:盗墓test22.txt','w')asf:6foreach_urlincrawl_list:7#有的时候访问某个网页会...

Win7 在安装vs2010后向sql2008添加SQL_Server_Management详解

VS2010自带sqlserver2008,但自带的版本缺少SQL_Server_Management,解决如下: 安装的先决条件:1.SQLManagementStudio_x86_CHS(http://www.microsoft.com/zh-cn/download/details.aspx?id=759...

python中decode和encode的区别

importsys'''*字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。decode的作用是将其他编码的字符串转换成unicode编码,如st...

Python中的yield和Generators(生成器)

本文目的 解释yield关键字到底是什么,为什么它是有用的,以及如何来使用它。 协程与子例程   我们调用一个普通的Python函数时,一般是从函数的第一行代码开始执行,结束于return语句、异常或者函数结束(可以看作隐式的返回None)。一旦函数将控制权交还给调用者,就意味着全部结束。...

Pyhthon爬虫其之验证码识别

  现在的登录系统几乎都是带验证手段的,至于验证的手段也是五花八门,当然用的最多的还是验证码。不过纯粹验证码识已经是很落后的东西了,现在比较多见的是滑动验证,滑动拼图验证(这个还能往里面加广告)、点击图片特定位置确认(同样能放广告),再或者谷歌的No-CAPTCHA。总之纯粹的验证码效果不好,成本也不如一众新型验证码,...

python 截取 取出一部分的字符串

下面是split截取获得>>>str='http://manualfile.s3.amazonaws.com/pdf/gti-chis-1-user-9fb-0-7a05a56f0b91.pdf'>>>printstr.split()['http://manualfile.s3.am...

python 爬虫练习

bs去除特定标签。#urlimporteasyguiasgimporturllib.requestfrombs4importBeautifulSoupimportosimportsysimportreimportconfig.story2asurls#获取urldefset_url():msg="请填写一下信息(其中带...
IT猿 IT猿·2020-03-25

python读文件的三个方法read()、readline()、readlines()详解

"""1、读取文件的三个方法:read()、readline()、readlines()2、三个方法均可接受一个变量用以限制每次读取的数据量,通常不使用该变量。""""""关于read()方法:1、读取整个文件,将文件内容放到一个字符串变量中2、如果文件大于可用内存,不可能使用这种处理"""file_object=op...

Python 爬虫系列:糗事百科最热段子

1.获取糗事百科urlhttp://www.qiushibaike.com/hot/page/2/  末尾2指第2页2.分析页面,找到段子部分的位置,需要一点CSS和HTML的知识3、编写代码1importurllib.request2frombs4importBeautifulSoup3fromu...

python字符串/元组/列表/字典互转

1#-*-coding:utf-8-*-23#1、字典4dict={'name':'Zara','age':7,'class':'First'}56#字典转为字符串,返回:<type'str'>{'age':7,'name':'Zara','class':'First'}7printtype(str(dic...

python使用代理访问服务器

python使用代理访问服务器主要有一下3个步骤:1.创建一个代理处理器ProxyHandler:proxy_support=urllib.request.ProxyHandler(),ProxyHandler是一个类,其参数是一个字典:{'类型':'代理ip:端口号'}什么是Handler?Handler也叫作处理器...

python BeautifulSoup库用法总结

 简单来说,BeautifulSoup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下:BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应...

python线程池(threadpool)

一、安装pipinstallthreadpool  二、使用介绍(1)引入threadpool模块(2)定义线程函数  (3)创建线程池threadpool.ThreadPool()  (4)创建需要线程池处理的任务即threadpool.makeReques...

python爬虫系列:做一个简单的动态代理池

自动1、设置动态的useragent1importurllib.requestasure2importurllib.parseasupa3importrandom4frombs4importBeautifulSoup56#动态设置useragent:7defset_user_agent():8agent_list=[9...
首页上一页...43834384438543864387...下一页尾页