fromseleniumimportwebdriverimporttimedefcapture(url,save_fn="capture.png"):browser=webdriver.Firefox()#Getlocalsessionoffirefoxbrowser.set_window_size(1200,900)browser.get(url)#Loadpagebrowser.execute_script("""(function(){vary=0;varstep=100;window.scroll(0,0);functionf(){if(y<document.body.scrollHeight){y+=step;window.scroll(0,y);setTimeout(f,50);}else{window.scroll(0,0);document.title+="scroll-done";}}setTimeout(f,1000);})();""")foriinxrange(30):if"scroll-done"inbrowser.title:breaktime.slee...

连接为http://blog.csdn.net/a491057947/article/details/47614263http://www.crifan.com/export_data_to_excel_file_in_python/...

当url地址含有中文，或者参数有中文的时候，这个算是很正常了，但是把这样的url作为参数传递的时候（最常见的callback），需要把一些中文甚至'/'做一下编码转换。所以对于一些中文或者字符，url不识别的，则需要进行转换，转换结果如下：urllib库里面有个urlencode函数，可以把key-value这样的键值对转换成我们想要的格式，返回的是a=1&b=2这样的字符串，比如：importurllib.parsevalues={}values['username']='02蔡彩虹'values['password']='ddddd?'url="http://www.baidu.com"data=urllib.parse.urlencode(values)print(data)结果如下：如果只想对一个字符串进行urlencode转换，怎么办？urllib提供另外一个函数：quote()importurllib.parses='长春's=urllib.parse.quote(s)print(s)输出结果为：当urlencode之后的字符串传递过来之后，接受完毕就要解码了&md...

在Python中，要想引发异常，最简单的形式就是输入关键字raise，后跟要引发的异常的名称。异常名称标识出具体的类： Python异常处理是那些类的对象。执行raise语句时，Python会创建指定的异常类的一个对象。raise语句还可指定对异常对象进行初始化的参数。为此，请在异常类的名称后添加一个逗号以及指定的参数（或者由参数构成的一个元组）。例如：在scrapy官网可以看到，scrapy异常处理的丢弃item中的DropItem（）异常处理。验证价格，同时丢弃没有价格的itemfromscrapy.exceptionsimportDropItemclassPricePipeline(object):vat_factor=1.15defprocess_item(self,item,spider):ifitem['price']:ifitem['price_excludes_vat']:item['price']=item['price']*self.vat_factorreturnitemelse:raiseDropItem("Missingpricein%s"%item...

今天无论如何都要留下一些什么东西。。。可以说今天学到一个新的一个东西，也需要分享出来，给更多的人去使用。今天爬取的数据里面是客户端向服务器端发送加密过的token和一些页码之类的一个数据。（我主要是想通过翻页获取每一页的数据，该网页是通过post去获取的请求，所以需要带一堆的嵾数才会出来数据）。pyload={"token":"2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}headers={'Host':'usedcar.auto.sina.com.cn','Connection':'keep-alive','Content-Length':'186','Accept':'application/json,text/javascript,*/*;q=0.01','Origin':'http://usedcar.auto.sina....

1、首先下载pyinstaller并且解压（就直接解压再桌面就可以，这样子比较方便）2、然后就去下载pywin32（按照电脑和python的版本去下载）我电脑是64位的，python是3.4版本的，所以就是下载我画的红色框的。接着还需要下载pefile，可以直接pipintall pefile去安装即可。3、将项目文件放到pyinstaller文件夹下面（我的是daily.py）：4、.按住shift键右击，在当前路径打开命令提示行，输入以下内容（最后的是文件名）：Python pyinstaller.py-Fdaily.py5、这样子就可以生产那个exe文件了，在同文件夹的dist目录底下。注意：还有一种情况：就是如果需要打包的py的程序调用了自己写的py文件的话，就需要把对应的被导入的py文件放在setup同一个目录下，py2exe会自己去解析的。上面编译出来的exe能够正常运行了，但带一个黑色的console，以下重新编译，加入--windowed --icon，取消--console  D:PyInstaller-2.1>...

前段时间品牌专区出现这么一个问题，excel里面的数据存在一些是NaN的现象，好奇的以为是None类型，开始也以为是空值来的，就好奇的以为这样子，可是不知道为什么一直无法去掉，那就是意味着根本就没有去掉的节奏，昨晚一直弄不好，弄的我的数据一直没有搞好呢。早上一来就捣鼓想着一定要弄好，重点是我输出类型居然是‘float’，，，，，，，，what？？？？？？？这是什么。为什么是float，越来月纳闷了，觉得不太对劲，结果去百度一下，还真的有这种奇葩存在。python在数据预处理的时候，经常遇到需要对空值进行处理的地方。空值在python中的表现一般为：1、None2、False3、''4、nanNaN（notanumber），在数学表示上表示一个无法表示的数，这里一般还会有另一个表述inf，inf和nan的不同在于，inf是一个超过浮点表示范围的浮点数（其本质仍然是一个数，只是他无穷大，因此无法用浮点数表示，比如1/0），而nan则一般表示一个非浮点数（比如无理数）pandas中DataFrame，Series都有isnull()方法，而数据框却没有，用了就会报错：...

 days的参数就是你想获取前多少天的数据，如果是昨天的话，则days=1importdatetimetoday=datetime.date.today()oneday=datetime.timedelta(days=14)yesterday=str(today-oneday)print(yesterday)print(type(yesterday)) ...

十进制转36进制：#36位映射模板loop='0123456789abcdefghijklmnopqrstuvwxyz'#测试用例输入n=1409980009869a=[]whilen!=0:a.append(loop[i%36])n=n/36a.reverse()out=''.join(a)#out:'hzqhoyh9'36进制转10进制：out=int('hzqhoyh9',36)python常用的进制转换：1、数字字符串转换为整数int(strNum,base)//base是字符串所表示的数的进制//返回的是10进制的整数2、整数转换为进制数字字符串bin(intNum)//返回10进制的intNum的2进制表示字符串oct(intNum)// 返回10进制的intNum的8进制表示字符串hex(intNum)// 返回10进制的intNum的16进制表示字符串 3、字符与数字的转换chr(intNum)//返回intNum所代表的字符ord(character)//返回character所对应的字符在unicode编码的顺序 示例：hex...

http://blog.csdn.net/djd1234567/article/details/51741557http://rfyiamcool.blog.51cto.com/1030776/1276364?utm_source=tuicool&utm_medium=referral...

今天弄验证码的时候发现，验证码的图片的src竟然是下面的这么一个一串字符串，吓到，好像不可以http请求的，第一次见，就好尴尬，去网上搜索了一下，说是：这是DataURIscheme。data:image/jpeg;base64,/9j/4AAQSkZJRgABAQEAYABgAAD//gA7Q1JFQVRPUjogZ2QtanBlZyB2MS4wICh1c2luZyBJSkcgSlBFRyB2NjIpLCBxdWFsaXR5ID0gOTAK/9sAQwADAgIDAgIDAwMDBAMDBAUIBQUEBAUKBwcGCAwKDAwLCgsLDQ4SEA0OEQ4LCxAWEBETFBUVFQwPFxgWFBgSFBUU/9sAQwEDBAQFBAUJBQUJFA0LDRQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQUFBQU/8AAEQgAQADQAwEiAAIRAQMRAf/EAB8AAAEFAQEBAQEBAAAAAAAAAAABAgMEBQYHCAkKC//EALUQAAIBAwMCBAMFBQQEA...

new_temp=temp[0:len(temp)-1]m=hashlib.md5()m.update(new_temp)#获取signsign=m.hexdigest()printm.hexdigest()1、首先是获取要加密的字符串的长度new_temp=temp[0:len(temp)-1]2、去创建md5对象m=hashlib.md5()3、生成加密字符串m.update(new_temp)4、获取加密后的字符串sign=m.hexdigest() ...

fromrandomimportRandomdefrandom_str(randomlength=31):str=''chars='abcdefghijklmnopqrstuvwxyz0123456789'length=len(chars)-1random=Random()foriinrange(randomlength):str+=chars[random.randint(0,length)]returnstrx=random_str()print(x) ...

目前很多的网站在链接失效方面或者验证码链接方面好像都是使用了时间戳去判断该链接或者验证码是否失效。所以可以根据实际情况去判断这是否是真实的。目前我拿到的是这样子的一个格式，就是获取的时间戳是有三位小数点的，所以就是需要去掉小数点。代码如下：importtimex=time.time()print(int(time.time()*1000))print(x)print(int(x*1000))print(int(1490859133.45*1000)) ...

转自：http://blog.csdn.net/u014745194/article/details/70271868定义：/在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复制深拷贝：外围和内部元素都进行了拷贝对象本身，而不是引用。也就是，把对象复制一遍，并且该对象中引用的其他对象我也复制。几个术语的解释：/1，变量：是一个系统表的元素，拥有指向对象的连接空间 2，对象：被分配的一块内存，存储其所代表的值 3，引用：是自动形成的从变量到对象的指针 4，注意：类型（int类型，long类型(python3已去除long类型，只剩下int类型的数据)）属于对象，不是变量 5，不可变对象：一旦创建就不可修改的对象，包括字符串、元组、数字 6，可变对象：可以修改的对象，包括列表、字典。应用的范围：/1，切片可以应用于：列...