#数据实验室

使用tushare获取股票实时分笔数据延时有多大

前几天分享了一段获取所有股票实时数据的代码,有用户积极留言,提出一个非常棒的问题:如果数据本生的延时非常严重,通过代码获取数据再快又有什么用呢?一直以来我也只是直观感觉延时并不是很长,但没有做过详细的统计,今天统计一下通过上一篇文章分享的方法获取的实时数据,究竟延时有多大。今天实验用的数据是今天(2017-12-12)...

5行代码实现1秒内获取一次所有股票的实时分笔数据

 前两篇文章分别简单介绍了tushare这个财经数据接口包的使用,用起来很简单顺手,一两句代码就可以获取到你想的要的数据,但是有在群里经常看到说获取数据经常挂,延迟很严重等等,其实那是因为使用者没有好好去领悟和了解工具。片面两篇文章已经对tushare如何获取股票的历史数据和实时数据有过简单的介绍,没看过的朋...

python分别使用多线程和多进程获取所有股票实时数据

  前一天简单介绍了python怎样获取历史数据和实时分笔数据,那么如果要获取所有上市公司的实时分笔数据,应该怎么做呢? 肯定有人想的是,用一个列表存储所有上市公司的股票代号,然后无限循环获取不就得了吗? 现在深市和沪市的股票一共有3400多只,如果你真这样做的话,获取一次所有股...

使用tushare获取股票历史数据和实时分笔数据

使用tushare获取股票历史数据和实时分笔数据 财经数据接口包tushare的使用(一)Tushare是一款开源免费的金融数据接口包,可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据,本文对tushare的用法,已经存在的一些问题做一些介绍。 一:安装tushare为避免由...

Flashtext:大规模数据清洗的利器

 在这篇文章中,我们将介绍一种新的关键字搜索和替换的算法:Flashtext算法。Flashtext算法是一个高效的字符搜索和替换算法。该算法的时间复杂度不依赖于搜索或替换的字符的数量。比如,对于一个文档有N个字符,和一个有M个词的关键词库,那么时间复杂度就是 O(N) 。这个算法比我们一...

2017数据科学报告:机器学习工程师年薪最高,Python最常用

  2017-11-0311:05数据平台Kaggle近日发布了2017机器学习及数据科学调查报告,针对最受欢迎的编程语言、不同国家数据科学家的平均年龄、不同国家的平均年薪等进行深度调查。此次调查共收到16000余份回复。以下「AI脑力波」小编对该报告数据进行了梳理编译,供大家参考。年龄从全球范围来...

大数据等最核心的关键技术:32个算法

大数据等最核心的关键技术:32个算法转载2016年12月11日22:24:05A*搜索算法——图形搜索算法,从给定起点到给定终点计算出路径。其中使用了一种启发式的估算,为每个节点估算通过该节点的最佳路径,并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此,A*搜索算法是最佳优先搜索的范...

美团点评数据库高可用架构的演进与设想

金龙 ·2017-06-2920:11本文介绍最近几年美团点评MySQL数据库高可用架构的演进过程,以及我们在开源技术基础上做的一些创新。同时,也和业界其它方案进行综合对比,了解业界在高可用方面的进展,和未来我们的一些规划和展望。在2015年之前,美团点评(点评侧)长期使用MMM(Master-...

change可以重命名列名,也可能修改列的类型和约束,而modify只能修改列的数据类型。

change可以重命名列名,也可能修改列的数据类型,而modify只能修改列的数据类型。change比modify功能多,如果要用change修改字段类型和约束,要加上新字段名,新字段名可以和原来一样。...

前后端交互如何确保数据安全性?

 前后端分离的开发方式,我们以接口为标准来进行推动,定义好接口,各自开发自己的功能,最后进行联调整合。无论是开发原生的APP还是webapp还是PC端的软件,只要是前后端分离的模式,就避免不了调用后端提供的接口来进行业务交互。网页或者app,只要抓下包就可以清楚的知道这个请求获取到的数据,这样的接口对爬虫工程...

Excel 批量快速合并相同的单元格:数据透视表、宏代码、分类汇总

  在制作Excel表格的时候,为了使得自己制作的报表更加简洁明了,方便查阅,经常需要合并很多相同的单元格,如果有几千几万条记录需要合并的话,真的会让人发疯。怎样可以最快地实现合并功能呢?    1打开需要合并单元格的excel表格。(这里是以excel200...

数据仓库的一些建议

 0x01请理解数据仓库和数据平台的区别当你开始建设数据仓库之前,需要明白数据仓库和数据平台是两个不同的概念,不要把搭建一套Hadoop+Hive的平台叫数据仓库,这是数据平台的范畴。我们常说的数据仓库不仅仅是指数据接入、数据存储和数据计算,它也要包括数据治理、数据建模和数据挖掘。比如元数据管理、维度建模和O...

大数据征信的应用和启示:ZestFinance的基于大数据的信用评估技术

http://www.d1net.com/bigdata/news/325426.html2014年11月,本文作者有机会和ZestFinance的创始人和首席执行官梅里尔(DouglasC.Merill)先生进行了面对面的交流。这位普林斯顿的认知学博士阐述了ZestFinance利用大数据进行信用风险管理的基本框架。...

Django1.6版本的PG数据库定义手动升级

  Django1.7以后添加了migration功能,数据库定义的升级完全实现自动化,之前是通过一个叫south的app来做的。这篇文章谈一下1.6下的手动更新升级。  1、tablecreate和tabledelete操作,万幸的是Django即便是旧版本,其table的添加...

pg_restore数据库恢复指令

pg_restorerestoresaPostgreSQLdatabasefromanarchivecreatedbypg_dump.Usage: pg_restore[OPTION]...[FILE]Generaloptions: -d,--dbname=NAME   ...
首页上一页...399400401402403...下一页尾页