mysql查看当前所有的数据库和索引大小selecttable_schema,concat(truncate(sum(data_length)/1024/1024,2),'mb')asdata_size,concat(truncate(sum(index_length)/1024/1024,2),'mb')...

 1.用`declarative_base`根据`engine`创建一个ORM基类。fromsqlalchemy.ext.declarativeimportdeclarative_baseengine=create_engine(DB_URI)Base=declarative_base(engine)2.用这...

  毕竟是生产。。。。。提示以下信息： 　　gzip：stdin：notingzipformat 　　tar：Childreturnedstatus1 　　tar：Errorisnotrecoverable：exitingnow原因是：这个压缩包没有用gzip格式压缩，...

在SQL语言中去重是一件相当简单的事情，面对一个表（也可以称之为DataFrame）我们对数据进行去重只需要GROUPBY就好。selectcustId,applyNofromtmp.online_service_startloangroupbycustId,applyNo 但是对于pandas的DataFr...

1.查看数据库的存放路径 进入mysql终端mysql>showvariableslike'%datadir%'; 2.查看文件安装路径[root@hadoop01etc]#whereismysqlmysql:/usr/bin/mysql/usr/lib64/mysql/usr/share/m...

一个Dataset是一个分布式的数据集，而且它是一个新的接口，这个新的接口是在Spark1.6版本里面才被添加进来的，所以要注意DataFrame是先出来的，然后在1.6版本才出现的Dataset，提供了哪些优点呢？比如强类型，支持lambda表达式，还有还提供了sparksql执行引擎的一些优化，DataFrame里...

    ...

1...

1.数据集介绍20newsgroups数据集是用于文本分类、文本挖据和信息检索研究的国际标准数据集之一。数据集收集了大约20,000左右的新闻组文档，均匀分为20个不同主题的新闻组集合。一些新闻组的主题特别相似(e.g. comp.sys.ibm.pc.hardware/comp.sys.mac.hardwa...

 CatalystOptimizer: Dataset数据集仅可用Scala或Java。但是，我们提供了以下上下文来更好地理解Spark2.0的方向数据集是在2015年作为ApacheSpark1.6版本的一部分引入的。datasets的目标是提供一个类型安全的编程接口。这允许开发人员使用具有编译时...

  由python2.7语言实现的，包也比较旧了。#-*-coding:utf-8-*-#Version:1.0.0#Description:py_Hive2Kafka2kafka#Author:wqbin#Create_date:20191026importreimportsysimportosi...

1...

 所有表从大方向上有1.表的验证：指标临时表的验证和指标合并表的验证2.数据验证：数据总量的验证，数据质量的验证（连续指标和离散指标）  1.临时表的总量的验证showpartitionsapp.xxx_t_xxx;select*fromapp.xxx_t_xxxwherebatch_da...

  Map与Collection在集合框架中属并列存在Map存储的是键值对<K,V>Map存储元素使用put方法，Collection使用add方法Map集合没有直接取出元素的方法，而是先转成Set集合，再通过迭代获取元素Map集合中键要保证唯一性(和HashSet一样，用hashcod...

  Set接口用来表示：一个不包含“重复元素”的集合Set接口中并没有定义特殊的方法，其方法多数都和Collection接口相同。重复元素的理解：通常理解：拥有相同成员变量的对象称为相同的对象，如果它们出现在同一个集合中的话，称这个集合拥有重复的元素HashSet中对重复元素的理解：和通常意义上的理...