大家好我是一个老程序员了.用惯了mac,平时工作都是在 mac安装虚拟机,之后就是mac安装win10.因为很多办公软件mac都不好用,主要是跟同事沟通不方便,当然mac的软件还是很好用的.希望5年后可以普及吧.我讲一下我的工作方式: 我是在mac安装虚拟机,之后就是mac安装win10...

1.host　　本人准备了三台服务器,vim/etc/hosts　　192.168.1.131dk11192.168.1.132dk21192.168.1.133dk31 2.免密SSHcd~ssh-keygen一直按回车配置本地的免登录cat~/.ssh/id_rsa.pub>>~/.ssh/a...

  经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hivejdbcpackage有没有包含在里面，...

最近项目中需要用到sparksql，需要查询sqlDate类型，无奈，官方现阶段1.6.0还不支持Date类型，不过支持Timestamp类型，所以问题可以解决了。1.解析SimpleDateFormatdateFormat=newSimpleDateFormat("yyyy-MM-ddHH:mm:ss");Dateb...

1.socket消息发送importjava.net.ServerSocketimportjava.io.PrintWriterimportscala.collection.mutable.ListBufferimportjava.util.Random/***Createdbyzzyon8/28/15.*//***模...

1.sparkonyarnimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._/***Createdbyzzyon8/27/15.*/objectSaprkOnYarn{defmain(args:Array[String]){i...

Spark之命令1.spark运行模式有4种：a.local多有用测试,b.standalone：spark集群模式，使用spark自己的调度方式。c.Yarn:对MapreduceV1升级的经典版本，支持spark。d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行...

注意,这种安装方式是集群方式:然后有常用两种运行模式:standalone,onyarn 区别就是在编写standalone与onyarn的程序时的配置不一样,具体请参照spar2中的例子.提交方式:standalonespark-submit--classtestkmeans.KMeans_jiespark...

一、什么是scalascala是基于JVMde编程语言。JAVA是运行在jvm上的编程语言，java源代码通过jvm被编译成class文件，然后在os上运行class文件。scala是运行在jvm上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。二语法：1.声明值和变量va...

 impala是基于hive的大数据实时分析查询引擎，直接使用Hive的元数据库metadata意味着impala元数据都存储在hive的metadstore中并且impala兼容hive的sql解析，实现了hive得sql语义子集，功能还在不断完善中。shell命令impala-shell命令用法：&Osl...

如何编译ApacheHadoop2.6.0源代码1．安装CentOS我使用的是CentOS6.5，下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/，选择CentOS-6.5-x86_64-bin-DVD1.iso下载，注意是64位的，大小是4GB，需要下载一段时...

现在开始安装环境一.安装node.js首先要安装node.js,去nodejs官网下载即可，地址：http://nodejs.cn/中文网。安装完成后，打开终端（windows键+R）搜索cmd,输入命令行node-v 和 npm-v，如果能显示出版本号，就说明安装成功。二.安装vue-cli输入命...

SPA单页应用的2种类型分页技术，常见于React、Vue等基于组件化开发的项目1、纯前端分页2、基于后台的分页（1）纯前端分页　　1、请求获取数据：一次性获取所有数据，翻页时不再发送请求　　2、请求接口：不需要指定页面（pageNum）和每页数量（pageSize）　　　　3、响应数据：所有数据的数组 （2...

（1）图片处理　　首先回顾下图片引入方式1、js创建图片引入2、css结合背景图background-image:url('')引入3、图片标签引入<imgsrc="">""/>　　1、首先在js里创建图片插入　　   　　接着进行打包输出，测试如下　　  ...

（1）ES6语法解析转换ES5　　为了方便测试，我们先将mode模式改为开发模式development，首先编写ES6语法进行相关测试　　　　然后打包测试，发现打包后的js文件仍旧是ES6语法　　 　　接下来安装相关依赖npmibabel-loader@babel/core@babel/preset-env-...