#oop

Install hadoop on windows(non-virtual machine, such cygwin)

DownloadBeforestartingmakesureyouhavethistwosoftwaresHadoop2.7.1Java–Jdk1.7+ExtractdownloadedtarfileConfigurationStep1– Windowspathconfiguratio...

hadoop 2.5.1单机安装部署伪集群

环境:ubuntu14.04server64版本hadoop2.5.1jdk1.6部署的步骤主要参考了http://blog.csdn.net/greensurfer/article/details/39450369这篇文章。 1安装java,配置好环境变量JAVA_HOMECLASSPATH具体步骤参考网上...

hadoop wordcount程序缺陷

在wordcount程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会...

新手安装 hadoop、hive和hbase 笔记

系统是ubuntu12.04,hadoop版本是1.2.1,hive版本是0.12,hbase版本我忘记了,不好意思首先是配置好hostnamevi/etc/hosts写入你要配置的ip和它的hostname这里我写入了192.168.19.129ubuntu给要部署hadoop的机器都互相配置信任关系,具体怎么玩,自...

Ubuntu 16.04下Markdown编辑器Haroopad

1、下载deb包地址:https://bitbucket.org/rhiokim/haroopad-download/downloads/haroopad-v0.13.2-x64.deb这里是历史版本:https://bitbucket.org/rhiokim/haroopad-download/downloads/2...

Hadoop学习笔记系列

   这是一个信息爆炸的时代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝炼数成金成为当务之急。但数据增长的速度往往比cpu和内存性能增长的速度还要快得多。要处理海量数据,如果求助于昂贵的专用主机甚至超级计算机,成本无疑很高,有时即使是保存...
代码星球 ·2020-04-03

Hadoop 原理总结

 一、Hadoop技术原理Hdfs主要模块:NameNode、DataNodeYarn主要模块:ResourceManager、NodeManager常用命令:1)用hadoopfs操作hdfs网盘,使用Uri的格式访问(URI格式:secheme://authority/path,默认是hdfs://nam...
代码星球 ·2020-04-03

hadoop进阶

 1、操作系统有两个容易混淆的概念,进程和线程。进程:一个计算机程序的运行实例,包含了需要执行的指令;有自己的独立地址空间,包含程序内容和数据;不同进程的地址空间是互相隔离的;进程拥有各种资源和状态信息,包括打开的文件、子进程和信号处理。线程:表示程序的执行流程,是CPU调度执行的基本单位;线程有自己的程序计...
代码星球 ·2020-04-03

HADOOP:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

   WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable参考了网上很多办法,不行。这个警告总觉得不爽。。最近部...

当Hadoop 启动节点Datanode失败解决

[日期:2014-11-01]来源:Linux社区 作者:shuideyidi[字体:大 中 小]当我动态添加一个Hadoop从节点的之后,出现了一个问题:[root@hadoopcurrent]# hadoop-daemon.shstartdatanodestartingdat...

for-in循环(for-in Loops)

转载自:http://www.cnblogs.com/TomXu/archive/2011/12/28/2286877.html 有个很重要的hasOwnProperty()方法,当遍历对象属性的时候可以过滤掉从原型链上下来的属性。 //对象varman={hands:2,legs:2,heads:...
代码星球 ·2020-04-03

hadoop开启Service Level Authorization 服务级认证-SIMPLE认证-过程中遇到的坑

背景描述:  最近在进行安全扫描的时候,说hadoop存在漏洞,Hadoop未授权访问【原理扫描】,然后就参考官方文档及一些资料,在测试环境中进行了开启,中间就遇到了很多的坑,或者说自己没有想明白的问题,在此记录下吧,这个问题搞了2天。环境描述:  hadoop版本:2.6.2操作步骤:1.想要开启服务级认证,需要在c...

OOP思想

面向对象编程(ObjectOrientedProgramming,OOP,面向对象程序设计)是一种计算机编程架构。OOP的一条基本原则是计算机程序是由单个能够起到子程序作用的单元或对象组合而成。核心思想:封装,继承,多态.OOP达到了软件工程的三个主要目标:重用性、灵活性和扩展性。为了实现整体运算,每个对象都能够接收信...
代码星球 ·2020-04-02

Hadoop错误日志

1.错误日志:Directory/tmp/hadoop-root/dfs/nameisinaninconsistentstate:storagedirectorydoesnotexistorisnotaccessible.错误原因:在Linux下Hadoop等的各种数据默认保存在/tmp目录下。当重启系统后/tmp目录...
代码星球 ·2020-03-30

Hadoop新增和删除节点

1.安装lunix,和以前一样的版本2.初始化系统环境 2.1.设置静态ipvi/etc/sysconfig/network-scripts/ifcfg-eth0//增加#AdvancedMicroDevices[AMD]79c970[PCnet32LANCE]DEVICE=eth0#BOOTPROTO=dhcp#ad...
代码星球 ·2020-03-30
首页上一页...3334353637下一页尾页