python环境是Anaconda3安装的，由于项目需要用到git的第三方包，但是在conda自带的环境中没有。例如使用jieba分词库。 安装的三种方式：（1）全自动安装：`easy_installjieba`或者`pipinstalljieba`/`pip3installjieba`和cond...

 CatalystOptimizer: Dataset数据集仅可用Scala或Java。但是，我们提供了以下上下文来更好地理解Spark2.0的方向数据集是在2015年作为ApacheSpark1.6版本的一部分引入的。datasets的目标是提供一个类型安全的编程接口。这允许开发人员使用具有编译时...

  由python2.7语言实现的，包也比较旧了。#-*-coding:utf-8-*-#Version:1.0.0#Description:py_Hive2Kafka2kafka#Author:wqbin#Create_date:20191026importreimportsysimportosi...

1...

 所有表从大方向上有1.表的验证：指标临时表的验证和指标合并表的验证2.数据验证：数据总量的验证，数据质量的验证（连续指标和离散指标）  1.临时表的总量的验证showpartitionsapp.xxx_t_xxx;select*fromapp.xxx_t_xxxwherebatch_da...

  Map与Collection在集合框架中属并列存在Map存储的是键值对<K,V>Map存储元素使用put方法，Collection使用add方法Map集合没有直接取出元素的方法，而是先转成Set集合，再通过迭代获取元素Map集合中键要保证唯一性(和HashSet一样，用hashcod...

  Set接口用来表示：一个不包含“重复元素”的集合Set接口中并没有定义特殊的方法，其方法多数都和Collection接口相同。重复元素的理解：通常理解：拥有相同成员变量的对象称为相同的对象，如果它们出现在同一个集合中的话，称这个集合拥有重复的元素HashSet中对重复元素的理解：和通常意义上的理...

1.1list接口的简介  1.2list实现子类ArrayList：线程不安全，查询速度快，底层用的是数组,增删慢LinkedList：线程不安全，链表结构，增删速度快,查询慢Vector：线程安全，但速度慢，已被ArrayList替代 1.3list的遍历方法  &...

   0.1、为什么出现集合类？面向对象语言对事物的体现都是以对象的形式，所以为了方便对多个对象的操作，就对对象进行存储，集合就是存储对象最常用的一种方式(容器)Java中集合也是类,真正用来存储东西的是某种集合类的实例对象。0.2、集合类VS数组数组和集合类都是容器，有何不同？集合类的特...

 ArrayList 内部是由一个array 实现的。如果你知道array 和 ArrayList 的相似点和不同点，就可以选择什么时候用array或者使用ArrayList，array 提供O(1)的查找性能和很基本的方式去存储数据。ArrayLi...

0.1、IO(InputOutput)流的概念Java中将不同设备之间的数据传输抽象为“流”：Stream设备指的是：磁盘上的文件，网络连接，另一个主机等等 按流向分：输入流，输出流:都是针对内存来说的输入流，只能从其中读取数据输出流，只能把数据放入其中按每次处理的数据单位分：字节流，字符流1.字节流：每次处...

数组的定义数组的内存结构数组定义常见问题数组常见操作Java参数传递问题--值传递二维数组1.数组概念同一种类型数据的集合,可以是基本数据类型,也可以是引用数据类型。数组的特点：数组存储的都是相同数据类型的元素（相同数据类型）数组的长度也就是数组中元素的个数（固定长度）元素从0开始编号,编号也称“索引”:index(下...

1...

项目中想使用自定义python文件（本地代码）有6种方式，1、这种最简单，也可能最不实用，将你的外部文件放到跟需要调用外部文件的文件同一个包下，同一目录folder------toinvoke.py------tobeinvoded.py这样在toinvoke.py中引入importtoveinvoked或fromto...

python中如何引用自己创建的源文件（*.py）呢？也就是所谓的模块。 假如，你有一个自定义的源文件，文件名：saySomething.py 。里面有个函数，函数名：sayHello。如下图： 该怎么调用这个函数呢？直接写 sayHello() 肯定不行。saySom...