#大数据存储与处理

前端MVC学习总结(一)——MVC概要与angular概要、模板与数据绑定

框架是一个软件的半成品,在全局范围内给了大的约束。库是工具,在单点上给我们提供功能。框架是依赖库的。AngularJS是框架而jQuery则是库。在传统的非模块化JavaScript开发中有许多问题:命名冲突、文件依赖、跨环境共享模块、性能优化、职责单一、模块的版本管理、jQuery等前端库层出不穷,前端代码日益膨胀A...

获取类所在的方法的数据

this._t.GetType().GetMethod("GetData").Invoke(_t, null).ToString().ToLower();...

Oracle 存储容量最大的字段类型CLOB

1、优点,无限容量2、数据量大时读取很慢...

Flask学习之旅--数据库

  在Web开发中,数据库操作是很重要的一部分,因为网站的很多重要信息都保存在数据库之中。而Flask在默认情况下是没有数据库、表单验证等功能的,但是可以用Flask-extension为Web应用添加这些功能。   SQLite是一款轻型的数据库,是遵守ACID的关系型数据库管理系统。由于Python对SQ...
代码星球 ·2020-03-31

Android activity之间数据传递和共享的方式之Application

1.基于消息的通信机制 Intent---bundle,extra    数据类型有限,比如遇到不可序列化的数据Bitmap,InputStream,或者LinkedList链表等等数据类型就不太好用。2.利用static静态数据, publicstatic成...

基础概念:Oracle数据库、实例、用户、表空间、表之间的关系

基础概念:Oracle数据库、实例、用户、表空间、表之间的关系数据库:Oracle数据库是数据的物理存储。这就包括(数据文件ORA或者DBF、控制文件、联机日志、参数文件)。其实Oracle数据库的概念和其它数据库不一样,这里的数据库是一个操作系统只有一个库。可以看作是Oracle就只有一个大数据库。实例: ...

python基础之数据类型

  格式化(format)输出中,%s代表字符串占位符,%d代表数字占位符。(python2版本中%f代表小数占位符,%d代表整数占位符。python3版本中所有数字都用%d代表占位符。)  例如:输出用户的姓名、年龄、成绩#第一种写法name=input("请输入姓名:")age=input("请输入年龄:")sco...
代码星球 ·2020-03-30

数据导入(二):MapReduce

packagetest091201;importjava.io.IOException;importjava.text.SimpleDateFormat;importjava.util.Date;importorg.apache.hadoop.conf.Configuration;importorg.apache.ha...
代码星球 ·2020-03-30

数据导入(一):Hive On HBase

Hive集成HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBasejar包的一致性。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类。整合hive与hbase的过程如下:1...
代码星球 ·2020-03-30

HBase数据模型

RowKey类似于MySQL中的主键,HBase天然自带的,在创建时不需要显示指定。HBase不支持条件查询和Orderby等查询,读取记录只有三种方式:①.通过单个Rowkey访问【速度很快,因为存在着索引机制】②.给定Rowkey的range③.全表扫描Rowkey按照字典序存储,要充分考虑排序存储这个特性,将经常...
代码星球 ·2020-03-30

Hive数据查询

在hive查询中有【两种】情况是不执行MR的。1).Limit关键字限制查询的记录数,结果是随机的。下面的查询语句从 Student 表中随机查询5条记录:hive>select*fromstudentlimit5;2).基于分区的查询。【其中,date是分区字段】 hive>...
代码星球 ·2020-03-29

Hive导入数据

1.导入数据除了前面使用Load Data方式把文件复制或移动到表的目录外,还有以下几种方式:1). InsertOverwrite/IntoTable hive>insertoverwritetableschool>selectage,namefromstudent;&nbs...
代码星球 ·2020-03-29

Hive数据类型

1.hive常用的数据类型包括:2.类型转换  隐式转换规则:任何整数类型都可以隐式转换为一个范围更广的类型。所有整数类型 + float + String都可以转换为Double类型。  可以使用cast操作进行数据类型显示转换。例如cast('1' as ...
代码星球 ·2020-03-29

MR案例:小文件处理方案

HDFS被设计来存储大文件,而有时候会有大量的小文件生成,造成NameNode资源的浪费,同时也影响MapReduce的处理效率。有哪些方案可以合并这些小文件,或者提高处理小文件的效率呢?1).所有HDFS小文件数据导出到本地单个文件后,再存入HDFS[root@ncst~]#hadoopfs-ls/test/in/s...

【视频处理】YUV与RGB格式转换

YUV格式具有亮度信息和色彩信息分离的特点,但大多数图像处理操作都是基于RGB格式。因此当要对图像进行后期处理显示时,需要把YUV格式转换成RGB格式。RGB与YUV的变换公式如下:  YUV(256级别)可以从8位RGB直接计算:Y=0.299R+0.587G+0.114BU=-0.1687R-0...
首页上一页...524525526527528...下一页尾页