python3.4学习笔记(十四)网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例新浪爱彩双色球开奖数据URL：http://zst.aicai.com/ssq/openInfo/最终输出结果格式如：2015075期开奖号码：6,11,13,19,21,32,蓝球：4直接用python源码写的抓取双色球最新开奖数据的代码，没使用框架，直接用字符串截取的方式写的，经过测试速度还是很快的使用pyspider可以轻松分析出需要的内容，不过需要部署框架对只抓取特定内容的小应用来说也没多大必要一般的抓取网页的使用beautifulsoup就足够了，pyspider真正做爬虫类的应用才需要用到python3.4学习笔记(十七)网络爬虫使用Beautifulsoup4抓取内容-流风，飘然的风-博客园http://www.cnblogs.com/zdz8207/p/python_learn_note_17.html使用BeautifulSoup4对比直接使用字符串查找截取的方式要更加直观和简洁。把代码作为开源项目了，热血狂徒/zyspider-代码托管-开源中国社区http://git.oschina...

python3.4学习笔记(十三)网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI,采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。用pyspider的demo页面创建了一个爬虫，写一个正则表达式抓取多牛网站上特定的URL，很容易就得到想要的结果了，可以非常方便分析抓取页面里面的内容binux/pyspider·GitHubhttps://github.com/binux/pyspiderhttp://docs.pyspider.org/en/latest/Dashboard-pyspiderhttp://demo.pyspider.org/ztest-Debugger-pyspiderhttp://demo.pyspider.org/debug/ztest那个demo网站还可以直接在线保存自己创建编辑过的代码的看了pyspider的源码web端是用tornado框架做的，使用PhantomJS渲染带JS...

python3.4学习笔记(十二)python正则表达式的使用，使用pyspider匹配输出带.html结尾的URL实战例子：使用pyspider匹配输出带.html结尾的URL：@config(age=10*24*60*60)defindex_page(self,response):foreachinresponse.doc('a[href^="http"]').items():matchObj=re.match(r'(.*).html',each.attr.href,re.M|re.I)ifmatchObj:self.crawl(each.attr.href,callback=self.detail_page)---------------------------------------正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。re模块使Python语言拥有全部的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一...

python3.4学习笔记(十一)列表、数组实例#python列表，数组类型要相同，python不需要指定数据类型，可以把各种类型打包进去#python列表可以包含整数，浮点数，字符串，对象#创建列表三种方式：1.member=["zdz","liufeng","hots"],2.number=[1,2,3],#3.混合型mix=[1,'zdz',3.12,[1,2,3]]4.空列表empty=[]#向列表添加使用append追加一个元素到末尾，extend追加另外一个列表到末尾，insert插入到指定位置1#python列表，数组类型要相同，python不需要指定数据类型，可以把各种类型打包进去2#python列表可以包含整数，浮点数，字符串，对象3#创建列表三种方式：1.member=["zdz","liufeng","hots"],2.number=[1,2,3],4#3.混合型mix=[1,'zdz',3.12,[1,2,3]]4.空列表empty=[]5#向列表添加使用append追加一个元素到末尾，extend追加另外一个列表到末尾，insert插入到指定位置6emptyl...

python3.4学习笔记(十)常用操作符,条件分支和循环实例1#Pyhon常用操作符2c=d=103d/=8#3.x真正的除法4print(d)#1.255c//=8#用两个斜杠实现2.x默认的地板除法(整数相除只取整数)6print(c)#17a=3**2#3的2次方8print(a)9print(not0)#True,0表示Flase，其他数字为True10print(not2)#Flase11#运算符优先级，幂运算**，正负号+x-x算术操作符*///+-12#比较操作符<<=>>===!=，逻辑运算符notandor13-------------------------------------14输出结果：151.2516117918True19False=====================================#条件分支和循环#条件分支，判断，决定该不该做某事，ifelse(elif)强制tab缩进避免悬挂else#循环，不断地去做某事whileforrange1#条件分支和循环2#条件分支，判断，决定该不该做某事，ifelse(el...

python3.4学习笔记(九)PythonGUI桌面应用开发工具选择PythonGUI开发工具选择-WEB开发者http://www.admin10000.com/document/96.html为什么用Python开发桌面应用程序_yu000hong_新浪博客http://blog.sina.com.cn/s/blog_48a45b950100zhwx.html鱼C工作室-免费Python教学视频,论坛 里面有GUI开发的免费视频http://bbs.fishc.com/forum-173-1.html...

python3.4学习笔记(八)Python第三方库安装与使用，包管理工具解惑许多人在安装Python第三方库的时候,经常会为一个问题困扰:到底应该下载什么格式的文件?当我们点开下载页时,一般会看到以下几种格式的文件:msi,egg,whlmsi文件:Windows系统的安装包,在Windows系统下可以直接双击打开,并按提示进行安装egg文件:setuptools使用的文件格式,可以用setuptools进行安装whl文件:wheel本质上是zip文件,它使用.whl作为拓展名,用于Python模块的安装,它的出现是为了替代Eggs,可以用pip的相关命令进行安装Python包管理工具解惑|zrong'sbloghttp://zengrong.net/post/2169.htmpython3.4学习笔记(十六)windows下面安装easy_install和pip教程-流风，飘然的风-博客园http://www.cnblogs.com/zdz8207/p/python_learn_note_16.html=====================================实例：...

python3.4学习笔记(七)学习网站博客推荐深入Python3http://sebug.net/paper/books/dive-into-python3/《深入Python3》的内容涵盖了Python3及其与Python2的区别。相对《深入Python》而言，它20%的内容进行了修订，80％的内容是全新的。廖雪峰的官方网站，很多网友都推荐的学习python的名博http://www.liaoxuefeng.com/中文，免费，零起点，完整示例，基于最新的Python3版本。Python-话题精华-知乎http://www.zhihu.com/topic/19552832老王pythonhttp://www.cnpythoner.com/Python|静觅--很多实战例子，不过大部分是基于2.x写的http://cuiqingcai.com/category/technique/pythonWelcometoPython.org官方网站https://www.python.org/Overview—Python3.4.3documentation官方文档https://...

python3.4学习笔记(六)常用快捷键使用技巧，持续更新安装IDLE后鼠标右键点击*.py文件，可以看到EditwithIDLE选择这个可以直接打开编辑器。IDLE默认不能显示行号，使用ALT+G跳到对应行号，在右下角有显示光标所在行、列。ALT+P，上一个历史输入内容，ALT+N下一个历史输入内容。IDLE中按F5可以运行代码。编辑状态时:Ctrl+[、Ctrl+]缩进代码Alt+3Alt+4注释、取消注释代码行Alt+5Alt+6切换缩进方式空格<=>TabAlt+/单词完成，只要文中出现过，就可以帮你自动补齐。多按几次可以循环选择Alt+M打开模块代码，先选中模块，然后按下此快捷键，会帮你打开改模块的py源码供浏览Alt+C打开类浏览器，方便在源码文件中的各个方法体之间切换Alt+FP打开路径浏览器，方便选择导入包进行查看浏览F1打开Python文档，不用设置。值得注意的是Ctrl+Space这个快捷键和Windows的输入法切换热键冲突，不要紧，当你实在需要提示的时候停下来，仍然会有代码提示的。其他常用快捷键就按习惯来好了。在编辑过程中，按F5进入shell调试...

python3.4学习笔记(五)IDLE显示行号问题，插件安装和其他开发工具介绍IDLE默认不能显示行号，使用ALT+G跳到对应行号，在右下角有显示光标所在行、列。pycharm免费社区版、SublimeText、pyscripter、eclipse+pydev可以显示行数。安装插件可以让IDLE显示行号：1.先下载LineNumbers.py文件：http://ftp.heanet.ie/disk1/disk1/disk1/sourceforge/s/so/sourcetrac/tmp/IDLE/idlexlib/extensions/LineNumbers.py2.将文件放在python安装目录下的idlelib目录下，3.用文本编辑器打开idlelib目录下的config-extensions.def文件。将如下配置参数追加到文件末尾：[LineNumbers]enable=1enable_editor=1enable_shell=0visible=1注意：[LineNumber]这个必须跟文件名一致才行。4.保存此文件，重新打开idle看见行号说明成功，否则失败（下载到不对的文...

python3.4学习笔记(四)3.x和2.x的区别在2.x中:printhtml，3.x中必须改成:print(html)importurllib2ImportError:Nomodulenamed'urllib2'在python3.x里面，用urllib.request代替urllib2importthreadImportError:Nomodulenamed'thread'在python3.x里面，用_thread(在前面加一个下划线)代替thread在2.x中exceptException,e:3.x中改为except(Exception):=================================print函数虽然print语法是Python3中一个很小的改动，且应该已经广为人知，但依然值得提一下：Python2中的print语句被Python3中的print()函数取代，这意味着在Python3中必须用括号将需要输出的对象括起来。在Python2中使用额外的括号也是可以的。但反过来在Python3中想以Python2的形式不带括号调用print函数时，会触发Synt...

python3.4学习笔记(三)idle清屏扩展插件pythonidle清屏问题的解决，使用pythonidle都会遇到一个常见而又懊恼的问题——要怎么清屏?在stackoverflow看到这样两种答案：1.在shell中输入importosos.system('cls')这种方法只能在windows系统中cmd模式下的pythonshell才管用（因为cls的命令是针对cmd的），在pythonidle直接返回了一个0的值。2.定义一个cls的函数，每次使用输入cls（）即可defcls():print""*100这种方法是伪清屏，只是输入满屏的空白而已，光标仍在最下面一行，根本达不到清屏的目的。在python的邮件列表中有很多这样类似的问题，但是没看到回答的。google后找到一个解决方法：增加一个清屏的扩展ClearWindow就可以了（在http://bugs.python.org/issue6143中可以看到这个扩展的说明）。一、下载clearwindow.py（http://bugs.python.org/file14303/ClearWindow....

python3.4学习笔记(二)类型判断，异常处理，终止程序，实例代码：1#idle中按F5可以运行代码2#引入外部模块importxxx3#random模块，randint(开始数，结束数)产生整数随机数4importrandom5importsys6importos7secret=random.randint(1,10)8temp=input("请输入一个数字")9#print(type(temp))#<class'str'>类型判断10#print(isinstance(temp,int))#False11#异常处理tryexceptfinally没有catch函数12try:13guess=int(temp)14except:15print("输入的不是数字，程序终止了")#注释内容不能在逻辑代码块里独立一行进行16os._exit(0)#os._exit()用于在线程中退出,sys.exit()用于在主线程中退出，exit(0)#终止退出程序，会关闭窗口17count=0;18whileguess!=secret:#猜错的时候才进入循环条件19ifcount==0...

实用性是本书的第一个基本出发点，书中介绍了近年来在工业界被广泛应用的机器学习算法，这些算法经受了时间的考验，不但效果好而且使用方便。此外作者也十分注意理论的深度和完整性，组织各章节的内容时力求由浅入深、推理完整、先后连贯、自成体系，先讲统计学、矩阵、优化方法这些基础知识，再由简到繁地介绍线性模型、概率图模型、文本向量化算法、树模型和神经网络，神经网络主要指的是各种深层网络。跟绝大多数机器学习类的图书不同，本书还会介绍算法周边的一些工程架构及实现原理，比如如何实时地收集训练样本和监控算法指标、参数服务器的架构设计、做AB测试的注意事项等等，了解这些知识对算法工程师是大有裨益的。本书充分照顾机器学习初学者的知识水平，理论体系完整、公式推导清晰，本科毕业的理工科学生都能看懂。另外由于本书跟工业实践结合得很紧密，所以也非常适合于从事算法相关工作的工程师。 我曾经在字节跳动工作过一段时间，那是一家企业文化让我感到很舒适的公司，我说的舒适指的是平等和开放，公司很有野心，员工也都十分优秀，每年校招总能吸引一大批优秀的毕业生前来面试。在面试算法岗的同学里有很大一部分人面临这样的困境：他们很勤...

.NetCore中文编码问题 “sgen.exe”未能运行。文件名或扩展名太长ASP.NETCore学习之一入门简介ASP.NETCore学习之二菜鸟踩坑ASP.NETCore学习之三NLog日志ASP.NETCore学习之四在CentOS上部署.netcoreASP.NETCore学习之五EntityFrameworkCore    docker镜像打包  ...