#ado

tornado异步编程

 说明以下的例子都有2个url,一个是耗时的请求,一个是可以立刻返回的请求,,我们希望的是访问立刻返回结果的请求不会被其他耗时请求影响非异步处理现在我们请求sleep然后同时请求justnow,发现sleep不执行完,justnow也不会返回结果#!/bin/envpythonimporttornado.ht...
代码星球 ·2021-02-21

mvn 下载源码和javadoc

1.下载源码,两种:1.mvndependency:sources2.mvneclipse:eclipse-DdownloadSources=true 2.下载javadoc,两种:1.mvndependency:resolve-Dclassifier=javadoc2.mvneclipse:eclipse-...
代码星球 ·2021-02-21

spark为什么比hadoop的mr要快?

1.前言Spark是基于内存的计算,而Hadoop是基于磁盘的计算;Spark是一种内存计算技术。但是事实上,不光Spark是内存计算,Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据通信问题:Spark多个任务之间数据通信是基于内存,而Hadoop是基于磁盘。SparkSQL比Ha...

hadoop namenode切换

hdfs haadmin -transitionToActive --forcemanual nn1将nn1强制转换为Activehdfshaadmin-transitionToStandby--forcemanualnn2将nn2强制转换为standby...
代码星球 ·2021-02-20

org.apache.hadoop.security.AccessControlException

Windows|Eclipse运行HDFS程序之后,报:org.apache.Hadoop.security.AccessControlException:Permissiondenied:user=WQbin,access=WRITE,inode="":hadoop:supergroup:rwxr-xr-x。或者Wi...

C#基础知识之const和readonly关键字

在了解这两个关键字的时候我们先来了解一下静态常量和动态常量。指编译器在编译时候会对常量进行解析,并将常量的值替换成初始化的那个值。动态常量的值则是在运行的那一刻才获得的,编译器编译期间将其标示为只读常量,而不用常量的值代替,这样动态常量不必在声明的时候就初始化,而可以延迟到构造函数中初始化。const修饰的常量是属于静...

ADO.net 添加事务

protectedvoidButton2_Click(objectsender,EventArgse)   {       SqlConnectioncon=newSqlConnection(@"DataSource=....
代码星球 ·2021-02-18

将Json数据转换为ADO.NET DataSet对象

Json数据转换为ADO.NETDataSet其实方法有很多,Newtonsoft.Json也提供了DataSet的Converter用以转换Json数据。但是有些情况下DataSetConverter并不管用,而且也不一定能够满足项目需要。这里介绍另一种简单有效的方法,能够方便快速地将Json数据转为ADO.NETD...

CentOS7.5搭建Hadoop2.7.6完全分布式集群

Hadoop官方地址:http://hadoop.apache.org/1.1防火墙,静态IP,主机名关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆1.2修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配...

centos7装单机hadoop2.7.3

(1)hadoop2.7.3下载(前提:先安装java环境)下载地址:http://hadoop.apache.org/releases.html(注意是binary文件,source那个是源码)(2)解压tar.gz(3)配置hadoop1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/...
代码星球 ·2021-02-18

hadoop的特性

hadoop是一个能够对大量数据进行分布式处理的软件框架,并且是一种可靠,高效,可伸缩的方式进行处理的,它有一下几方面特性:1.高可靠性:采用冗余数据存贮方式,即使一个副本发生故障,其他副本也可以保证对外工作的正常进行。2.高效性:作为并行分布式计算平台,hadoop采用分布式存贮和分布式处理两大核心技术,能够高效的处...
代码星球 ·2021-02-18

hadoop中map和reduce的数量设置问题

转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果将map和reduce的数量设置为1,那么用户的任务就没有并行执行,但是...

hadoop2.2.0伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:192.168.1.0子网掩码:255.255.255.0->apply->ok回到windows-->打开网...
代码星球 ·2021-02-18

hadoop启动后没有datanode怎么办

根据日志中的路径,cd/home/hadoop/tmp/dfs,能看到data和name两个文件夹。方法一:删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除,然后重新执行hadoopnamenode-format进行格式化,重启集群,错误消失。方...

大数据学习——hadoop2.x集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐)进入Linux图形界面->右键点击右上方的两个小电脑-...
首页上一页12345...下一页尾页