#数据清洗

java 文件操作 读取字节级数据(读取)

packagecom.swust;importjava.io.*;/**功能:按照双精度浮点型、整型、布尔型、字符型、和字符串型的顺序从名为sample.dat文件读取数据*分析:用FileInputStream类创建一个输出流的实例作为一个“流”*将该实例作为DataInputStream对象...

java流和文件 保存字节级数据(写)

重要的知识点:流的概念: 从数据源到I/O类的输入流(in)      从I/O类到数据接收器的输出流(out)I/O包含子类较多的有四大家族:InputStream,OutputStream,Reader和Write类      ...

Mybatis根据数据库中的表自动生成Bean对象与Mapper文件 (小白式教程)

示例IDE采用IDEA//**********************华丽的分割线****************//1.新建一个java项目-->在Src目录下创建3个包(Package)与一个文件夹(Directory)Package(包)-①bean:存放自动生成的JavaBean②mapper:存放自动生...

使用tushare获取股票实时分笔数据延时有多大

前几天分享了一段获取所有股票实时数据的代码,有用户积极留言,提出一个非常棒的问题:如果数据本生的延时非常严重,通过代码获取数据再快又有什么用呢?一直以来我也只是直观感觉延时并不是很长,但没有做过详细的统计,今天统计一下通过上一篇文章分享的方法获取的实时数据,究竟延时有多大。今天实验用的数据是今天(2017-12-12)...

5行代码实现1秒内获取一次所有股票的实时分笔数据

 前两篇文章分别简单介绍了tushare这个财经数据接口包的使用,用起来很简单顺手,一两句代码就可以获取到你想的要的数据,但是有在群里经常看到说获取数据经常挂,延迟很严重等等,其实那是因为使用者没有好好去领悟和了解工具。片面两篇文章已经对tushare如何获取股票的历史数据和实时数据有过简单的介绍,没看过的朋...

python分别使用多线程和多进程获取所有股票实时数据

  前一天简单介绍了python怎样获取历史数据和实时分笔数据,那么如果要获取所有上市公司的实时分笔数据,应该怎么做呢? 肯定有人想的是,用一个列表存储所有上市公司的股票代号,然后无限循环获取不就得了吗? 现在深市和沪市的股票一共有3400多只,如果你真这样做的话,获取一次所有股...

使用tushare获取股票历史数据和实时分笔数据

使用tushare获取股票历史数据和实时分笔数据 财经数据接口包tushare的使用(一)Tushare是一款开源免费的金融数据接口包,可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据,本文对tushare的用法,已经存在的一些问题做一些介绍。 一:安装tushare为避免由...

2017数据科学报告:机器学习工程师年薪最高,Python最常用

  2017-11-0311:05数据平台Kaggle近日发布了2017机器学习及数据科学调查报告,针对最受欢迎的编程语言、不同国家数据科学家的平均年龄、不同国家的平均年薪等进行深度调查。此次调查共收到16000余份回复。以下「AI脑力波」小编对该报告数据进行了梳理编译,供大家参考。年龄从全球范围来...

大数据等最核心的关键技术:32个算法

大数据等最核心的关键技术:32个算法转载2016年12月11日22:24:05A*搜索算法——图形搜索算法,从给定起点到给定终点计算出路径。其中使用了一种启发式的估算,为每个节点估算通过该节点的最佳路径,并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此,A*搜索算法是最佳优先搜索的范...

美团点评数据库高可用架构的演进与设想

金龙 ·2017-06-2920:11本文介绍最近几年美团点评MySQL数据库高可用架构的演进过程,以及我们在开源技术基础上做的一些创新。同时,也和业界其它方案进行综合对比,了解业界在高可用方面的进展,和未来我们的一些规划和展望。在2015年之前,美团点评(点评侧)长期使用MMM(Master-...

change可以重命名列名,也可能修改列的类型和约束,而modify只能修改列的数据类型。

change可以重命名列名,也可能修改列的数据类型,而modify只能修改列的数据类型。change比modify功能多,如果要用change修改字段类型和约束,要加上新字段名,新字段名可以和原来一样。...

前后端交互如何确保数据安全性?

 前后端分离的开发方式,我们以接口为标准来进行推动,定义好接口,各自开发自己的功能,最后进行联调整合。无论是开发原生的APP还是webapp还是PC端的软件,只要是前后端分离的模式,就避免不了调用后端提供的接口来进行业务交互。网页或者app,只要抓下包就可以清楚的知道这个请求获取到的数据,这样的接口对爬虫工程...

Excel 批量快速合并相同的单元格:数据透视表、宏代码、分类汇总

  在制作Excel表格的时候,为了使得自己制作的报表更加简洁明了,方便查阅,经常需要合并很多相同的单元格,如果有几千几万条记录需要合并的话,真的会让人发疯。怎样可以最快地实现合并功能呢?    1打开需要合并单元格的excel表格。(这里是以excel200...

数据仓库的一些建议

 0x01请理解数据仓库和数据平台的区别当你开始建设数据仓库之前,需要明白数据仓库和数据平台是两个不同的概念,不要把搭建一套Hadoop+Hive的平台叫数据仓库,这是数据平台的范畴。我们常说的数据仓库不仅仅是指数据接入、数据存储和数据计算,它也要包括数据治理、数据建模和数据挖掘。比如元数据管理、维度建模和O...

大数据征信的应用和启示:ZestFinance的基于大数据的信用评估技术

http://www.d1net.com/bigdata/news/325426.html2014年11月,本文作者有机会和ZestFinance的创始人和首席执行官梅里尔(DouglasC.Merill)先生进行了面对面的交流。这位普林斯顿的认知学博士阐述了ZestFinance利用大数据进行信用风险管理的基本框架。...
首页上一页...399400401402403...下一页尾页