51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#dfs
HDFS集群安装
DFS集群安装:1.准备工作(1)虚拟机(电脑8G磁盘500GB)(2)3台linux系统(1台namenode2台datanode)2.安装HDFS(软件)(1)关闭防火墙firewall-cmd--state查看防火墙状态systemctlstopfirewalld.service关闭防火墙systemctldis...
代码星球
·
2020-12-18
HDFS
集群
安装
sqoop导出数据|Hive|HDFS和脚本编写
在Sqoop中,“导出”概念指:从大数据集群(HDFS,HIVE,HBASE)向非大数据集群(RDBMS)中传输数据,叫做:导出,即使用export关键字。HIVE/HDFS到RDBMS$bin/sqoopexport--connectjdbc:mysql://hadoop102:3306/company--usern...
代码星球
·
2020-12-15
sqoop
导出
数据
Hive
HDFS
Layui_Tree模块遍历HDFS
注:转载请署名一、实体packagecom.ebd.application.common.Base;importjava.util.List;publicclassHDFSDir{privateStringid;//自定idprivateStringpid;//父IDprivateStringname;//当前目录名称...
代码星球
·
2020-12-07
Layui
Tree
模块
遍历
HDFS
Sqoop_mysql,hive,hdfs导入导出操作
前言:搭建环境,这里使用cdh版hadoop+hive+sqoop+mysql下载hadoop-2.5.0-cdh5.3.6.tar.gz hive-0.13.1-cdh5.3.6.tar.gz sqoop-1.4.5-cdh5.3.6.tar.gz配置Hadoop *.env(3个)--jdk_Path co...
代码星球
·
2020-12-07
Sqoop
mysql
hive
hdfs
导入
Hadoop_HDFS HA 及解决方案
1.HDFS系统架构HDFS(HadoopDistributedFileSystem),及Hadoop分布式文件系统作用:为Hadoop分布式计算框架提供高性能,高可靠,高可扩展的存储服务架构:典型的主(NameNode)从(DataNode)架构,两者一对多的关系,一个节点对应一个DataNode,NameNode是...
代码星球
·
2020-12-07
Hadoop
HDFS
HA
解决方案
Spark启动报错|java.io.FileNotFoundException: File does not exist: hdfs://hadoop101:9000/directory
atorg.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:156)atorg.apache.spark.deploy.history.FsHistoryProvider.<init>(Fs...
代码星球
·
2020-11-27
Spark
启动
报错
java.io.FileNotFoundException
File
HDFS在web端无法访问文件
解决办法1:[root@djt002hadoop]#vi/etc/selinux/config 改为 SELINUX=disabled解决办法2: 查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好解决办法3: 必须在hadoop-...
代码星球
·
2020-11-27
HDFS
web
无法
访问
文件
awk算术运算一例:统计hdfs上某段时间内的文件大小
计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小,并换算成GB: $HADOOP_HOME/bin/hadoop fs -du/user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum +=&nbs...
代码星球
·
2020-10-21
awk
算术
运算
一例
统计
hdu2660 Accepted Necklace (DFS)
ProblemDescriptionIhaveNpreciousstones,andplantouseKofthemtomakeanecklaceformymother,butshewon'tacceptanecklacewhichistooheavy.Giventhevalueandtheweightofeachpr...
代码星球
·
2020-10-21
hdu2660
Accepted
Necklace
DFS
黑白图像(DFS)
输入一个n*n的黑白图像(1表示黑色,0表示白色),任务是统计其中八连块的个数。如果两个黑格子有公共边或者公共顶点,就说它们属于同一个八连块。如图6-11所示的图形有3个八连块。  ...
代码星球
·
2020-10-21
黑白
图像
DFS
hdu1258 Sum It Up (DFS)
ProblemDescriptionGivenaspecifiedtotaltandalistofnintegers,findalldistinctsumsusingnumbersfromthelistthatadduptot.Forexample,ift=4,n=6,andthelistis[4,3,2,2,1,1]...
代码星球
·
2020-10-21
hdu1258
Sum
It
Up
DFS
hdu3368之DFS
TimeLimit:5000/2000MS(Java/Others) MemoryLimit:65536/65536K(Java/Others)TotalSubmission(s):1047 AcceptedSubm...
代码星球
·
2020-10-21
hdu3368
DFS
hdu 1241 Oil Deposits (dfs)
TimeLimit:2000/1000MS(Java/Others) MemoryLimit:65536/32768K(Java/Others)TotalSubmission(s):7813 AcceptedSubmission(s):4583Prob...
代码星球
·
2020-10-21
hdu
1241
Oil
Deposits
dfs
Docker 安装Hadoop HDFS命令行操作
网上拉取Docker模板,使用singlarities/hadoop镜像[root@localhost/]#dockerpullsingularities/hadoop查看:[root@localhost/]#dockerimagelsREPOSITORYTAGIMAGEIDCREATEDSIZEdocker.io/s...
代码星球
·
2020-10-21
Docker
安装
Hadoop
HDFS
命令行
hdfs关键流程分析
数据块大小理论上,磁盘传输速率越快,则块应该越大。因为磁盘传输速率变快,则传输时间变短,而传输时间和块的寻址时间要满足一个固定的比率,则应维持原来的传输时间,只有把块加大。 数据块过小:则寻址时间超出了传输的时间,不够经济;数据块过大:则传输时间太长,程序的io时间耗费过多。问题:128M是指所有的数据块长度...
代码星球
·
2020-10-20
hdfs
关键
流程
分析
首页
上一页
...
3
4
5
6
7
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他