51dev.com IT技术开发者社区

51dev.com 技术开发者社区

kudu安装过程中可能出现的问题

kudu安装过程中可能出现的问题

kudu安装过成中可能出现的问题1、给用户添加sudo权限的时候报错sudo:/etc/sudoersisworldwritable解决方式:pkexecchmod555/etc/sudoers2、启动kudu的时候报错FailedtostartKuduMasterServer.Returnvalu...

锁定文件失败 打不开磁盘“D:vmsS1CentOS 64 位.vmdk”或它所依赖的某个快照磁盘(强制关机后引起的问题)

锁定文件失败 打不开磁盘“D:vmsS1CentOS 64 位.vmdk”或它所依赖的某个快照磁盘(强制关机后引起的问题)

电脑强制关机后,centos系统启动失败,报异常:锁定文件失败打不开磁盘“D:vmsS1CentOS64位.vmdk”或它所依赖的某个快照磁盘。解决办法:进入D:vmsS1目录,删除下图的两个文件夹: 转自:https://blog.csdn.net/qq_34896163/article...

sudo: /etc/sudoers is world writable|给用户添加权限报错

sudo: /etc/sudoers is world writable|给用户添加权限报错

给用户添加权限时候出现:sudo:/etc/sudoersisworldwritable|sudo:/etc/sudoersisworldwritable解决方式:pkexecchmod555/etc/sudoers ...

hadoop退出安全模式Name node is in safe mode

hadoop退出安全模式Name node is in safe mode

18/01/1209:04:34INFOfs.TrashPolicyDefault:Namenodetrashconfiguration:Deletioninterval=0minutes,Emptierinterval=0minutes.rm:Cannotdelete/spark/data/net...

api-ms-win-crt-runtimel1-1-0.dll缺失的终极解决方案

api-ms-win-crt-runtimel1-1-0.dll缺失的终极解决方案

 https://blog.csdn.net/lt_java13/article/details/78814676...

spark启动后出现“JAVA_HOME not set” 异常和"org.apache.hadoop.security.AccessControlException"异常

spark启动后出现“JAVA_HOME not set” 异常和"org.apache.hadoop.security.AccessControlException"异常

 /home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh启动后执行jps命令,主节点上有Master进程,其他子节点上有Work进行,登录Spark管理界面查看集群状态(主节点):http://master01:80...

pip升级

pip升级

只要出现报错:python-mpipinstall--upgradepip。都表示需要进行升级pip版本查看pip版本:pip-V(pip可能是python2版本或python3版本)升级pip版本:window:pip2install--upgradepip、pip3install--upgrad...

Spark的转化和行动(transformations和action)

Spark的转化和行动(transformations和action)

 //**********************装换操作*********************1、defmap[U:ClassTag](f:T=>U):RDD[U]  将函数应用于RDD的每一元素,并返回一个新的RDD2、deffilter(f:T=>...

Akka详细介绍

Akka详细介绍

任何在过去做过多线程的人都不会否认管理多线程应用程序有多么困难和痛苦。我说管理因为它开始很简单,一旦你开始看到性能改进,它变得非常有趣。但是,当您发现没有更简单的方法从子任务中的错误中恢复或者您发现难以重现的僵尸错误或者当您的探查器显示您的线程花费大量时间阻塞时,它会很疼在写入共享状态之前浪费了。我...

RDD的概念与创建

RDD的概念与创建

 1、RDD是整个Spark的计算基石。是分布式数据的抽象,为用户屏蔽了底层复杂的计算和映射环境  RDD是不可变的,如果需要在一个RDD上进行转换操作,则会生成一个新的RDD  RDD是分区的,RDD里面的具体数据是分布在多台机器上的Executo...

列举spark所有算子

列举spark所有算子

一、RDD概述   1、什么是RDD      RDD(ResilientDistributedDataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计...

command not found所有执行命令总是报找不到

command not found所有执行命令总是报找不到

输入 ll命令提示: bash:ls: 未找到命令…  相似命令是: 'lz'原因:环境变量PATH被修改了解决办法:执行:exportPATH=/bin:/usr/bin:$PATH: ...

Spark启动报错|java.io.FileNotFoundException: File does not exist: hdfs://hadoop101:9000/directory

Spark启动报错|java.io.FileNotFoundException: File does not exist: hdfs://hadoop101:9000/directory

atorg.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:156)atorg.apache.spark.deploy.history.FsHistoryProvider.<i...

斐波那契数列的优化

斐波那契数列的优化

https://blog.csdn.net/dadai_/article/details/50209511《数值分析》...

ganglia之web界面介绍

ganglia之web界面介绍

转自:https://blog.csdn.net/lswnew/article/details/79175555http://www.51niux.com/?id=83 第一篇文章讲述了ganglia的搭建过程以及主要配置文件的参数解释,这篇文章对web界面的功能做解释。gweb由:Mai...