#数据实验室

大批量数据高效插入数据库表

  对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。经过对MySQLInnoDB的一些性能测试,发现一些可以提高insert效率的方法,供大家参考参考。常用的插入语句如...

聚宽数据

一、聚宽数据1、聚宽数据1.在聚宽数据这个页面可以看到聚宽平台集成好的各大类数据,如下图,点击可以查看详情与用法 2.但实际上可能有些数据要在API文档里才比较容易能找到,比如龙虎榜数据等。这时用ctrl+f进行网页搜索可以快速搜索需要的数据。  二、几种常用数据的取用方法1、获取指数成分...
代码星球 ·2020-04-18

2018天猫双11各项数据发布

  2018天猫双11城市成交Top(24点播报):1.上海、2.北京、3.杭州、4.广州、5.深圳、6.成都、7.重庆、8.武汉、9.苏州、10.南京。  2018天猫双11各省购买排行(24时播报):1.广东,2.浙江,3.江苏,4.上海,5.北京,6.山东,7.四川,8.河南,9.湖北,10.福建。  2018天...

E203数据冲突处理OITF

     流水线的数据冲突分为三类:WAR,RAW,WAW      https://wenku.baidu.com/view/e066926d48d7c1c708a14508.htmlWAR:writeaft...

GPS数据读取与处理

https://www.cnblogs.com/emouse/archive/2013/05/29/3105745.html SiRF芯片在2004年发布的最新的第三代芯片SiRFstarIII(GSW3.0/3.1),使得民用GPS芯片在性能方面登上了一个顶峰,灵敏度比以前的产品大为提升。这一芯片通过采用2...
代码星球 ·2020-04-18

数据仓库介绍

  1、数据仓库概念与用途  数据仓库(DataWarehouse,简写DW)是一个数据库集合,存储大量的数据,主要为企业撰写分析报告与决策做支撑,对多样的业务数据进行筛选整合,为企业提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。   数据仓库的输入方是各种各样的数据源,最终...
代码星球 ·2020-04-18

HBase--大数据系统的数据库方案

本文主要围绕以下三方面来讨论HBase:是什么、为什么、怎样做。1. 什么是HBase HBase是一个开源的、分布式的、非关系型数据库,其设计思想来源于Google的Big Table。通过集群管理大表(十亿行百万列),提供随机、实时的读写能力。 两个问题需要解释:1.1&nb...

大数据平台技术方案及案例

原文地址:https://blog.csdn.net/np4rHI455vg29y2/article/details/78954866大数据平台是为了计算,现今社会所产生的越来越大的数据量,以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并...

c语言基本数据类型(short、int、long、char、float、double)

 一C语言包含的数据类型short、int、long、char、float、double这六个关键字代表C语言里的六种基本数据类型。在不同的系统上,这些类型占据的字节长度是不同的:在32位的系统上short占据的内存大小是2个byte;int占据的内存大小是4个byte;long占据的内存大小是4个byte;...

浮点型数据(float, double)存储IEEE标准解析和应用

 在C语言中,浮点型变量(也就是带小数位的实数)在内存中的存储方式遵循IEEE标准。   首先来看单精度浮点型float。float占用4字节空间,也就是32位。从左向右数,第1位是符号位(0代表正数,1代表负数),接着是8位指数位,剩下的23位是数据位。如下所示SEEEEEEE...

终于有了,史上最强大的数据脱敏处理算法

哈哈,标题党了,向你道歉!言归正传。我们的应用系统里,为保护用户隐私,用户的敏感信息经常要做脱敏显示或脱敏存储,比如用户的身份证号、手机号、银行卡,等等。在支付系统或金融系统,数据安全是第一要务,数据的脱敏处理更是必选项。【身份证号脱敏示例】120115201406180712脱敏后:120115********071...

《全唐诗》数据库分享

   之前由于论文等相关原因,需要一个诗词文字对仗库,苦于手头没有,网上也没有找到较好的定义好的格式。因此,琢磨着自己想办法做一个出来。而做词库的数据源很重要,选来选去,最后决定使用全唐诗作为数据库。至于原因,首先是因为其数据量比较大,诗词覆盖面比较广;其次,由于《全唐诗》中大都是唐宋时期...
代码星球 ·2020-04-18

【转载】使用Pandas进行数据匹配

本文转载自:蓝鲸的网站分析笔记原文链接:使用Pandas进行数据匹配 目录merge()介绍inner模式匹配lefg模式匹配right模式匹配outer模式匹配NaN值匹配模式 Pandas中的merge函数类似于Excel中的Vlookup,可以实现对两个数据表进行匹配和拼接的功能。与Excel...

sqlserver、mysql、oracle、神通数据库(oscar)、达梦(dm)各自的默认端口号

sqlserver默认端口号为:1433URL=jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=dbnameDriverClasses=com.microsoft.jdbc.sqlserver.SQLServerDriver mysql ...

常见主流数据库对比介绍

常见数据库有<关系数据库系统>:ORACLE(甲骨文)、DB2、SQLServer、Sybase、Informix、MySQL、VF、Access等。其实数据库系统几乎支持所有的操作系统,也就是上述数据库几乎与平台无关(当然除SQLServer和Access以外,因为这是微软的东西,平台依赖性很强的)。1、...
首页上一页...304305306307308...下一页尾页