51Dev开发社区
登录 注册

#DFS

大数据学习——有两个海量日志文件存储在hdfs
有两个海量日志文件存储在hdfs上，其中登陆日志格式：user，ip，time，oper（枚举值：1为上线，2为下线）；访问之日格式为：ip，time，url，假设登陆日志中上下线信息完整，切同一上下线时间段内是用的ip唯一，计算访问日志中独立user数量最多的前10个url，用MapReduce实现。提示：1、要统计...
代码星球 ·2021-02-17

大数据学习——hdfs客户端流式操作代码的实现
packagecn.itcast.bigdata.hdfs.diceng;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importorg.apache.hadoop.io.IOUtils;importorg.junit....
代码星球 ·2021-02-17

分布式文件系统-FastDFS
 一、FastDFS简介一、FastDFS简介/FastDFS是由国人余庆所开发，其项目地址：https://github.com/happyfish100  FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。 ...
代码星球 ·2021-02-16

python操作hdfs总结
1、java通过hdfs远程连接hdfs，不需要在客户端机配置ip映射。2、python利用hdfs库通过webhdfs操作hdfs，必须在客户端机配置ip映射3、阿里云配置hadoop，/etc/hosts要设置内网ip，namenode才能正常运行。但是java、python通过外网ip访问hdfs时，总提示连不上...
代码星球 ·2021-02-14

DFS普通递归实现
<html><head><!--<scriptsrc="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script>--><style></style></head>...
代码星球 ·2021-02-11

阿里巴巴语音识别模型 DFSMN 的使用指南
阿里巴巴2018年开源的语音识别模型DFSMN，将全球语音识别准确率纪录提高至96.04%。DFSMN模型，是阿里巴巴的高效工业级实现，相对于传统的LSTM、BLSTM等声学模型，该模型具备训练速度更快、识别更高效、识别准确率更高和模型大小压缩等效果。本场Chat的主要内容包括：语音识别流程简介；Kaldi的部署使用；...
代码星球 ·2021-02-11

hadoop hdfs 命令
hdfs命令常用操作：hdfs帮助-help[cmd]显示命令的帮助信息[hadoop@hadoop-01~]$hdfsdfs-helpls递归显示当前目录下的所有文件:[hadoop@hadoop-01~]$hdfsdfs-ls-h/Found1itemsdrwxrwx----hadoopsupergroup0201...
代码星球 ·2021-02-10

LeetCode刷题总结-DFS、BFS和回溯法篇
本文总结LeetCode上有关深度优先搜索（DFS）、广度优先搜索（BFS）和回溯法的算法题，推荐刷题总数为13道。具体考点分析如下图：  1.字符匹配问题题号：301.删除无效的括号，难度困难 2.数组或字符串问题题号：329.矩阵中的最长递增路径，难度困难题号：488.祖玛游戏，难度困...
代码星球 ·2021-02-08

BFS广度优先 vs DFS深度优先 for Binary Tree
https://www.geeksforgeeks.org/bfs-vs-dfs-binary-tree/WhatareBFSandDFSforBinaryTree?ATreeistypicallytraversedintwoways:BreadthFirstTraversal(OrLevelOrderTraversa...
代码星球 ·2021-02-08

重新格式化hdfs系统的方法
重新格式化hdfs系统的方法：（1）查看hdfs-ste.xml<span attribute-value">"font-size:18px;"><property>    <name>dfs.name.dir</name>...
代码星球 ·2021-02-08

Hadoop HDFS文件常用操作及注意事项
1.CopyafilefromthelocalfilesystemtoHDFSThesrcFilevariableneedstocontainthefullname(path+filename)ofthefileinthelocalfilesystem. ThedstFilevariableneedstoco...
代码星球 ·2021-02-08

HDFS dfsclient写文件过程 源码分析
HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在写入一个blo...
代码星球 ·2021-02-08

高可用hadoop的hdfs启动的时候namenode启动不了
启动的时候，一直要求输入namenode密码：查看namenode的日志如下：2019-03-2818:38:08,961INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:datanode1/192.168.197.136:8485.Alreadytrie...
代码星球 ·2021-02-03

ha环境下重新格式化hdfs报错
 datanode启动不成功，如下所示，我的136,137.138都是datanode，都启动不了。查看datanode日志文件发现报错：一个报错IncompatibleclusterIDsin/home/hadoop/data/datanode，需要删除core-site.xml中配置的hadoop.tmp...
代码星球 ·2021-02-03

初始化ha环境下的hadoop的hdfs
1）启动zookeeper2）启动所有的journalnode[hadoop@datanode1~]$~/hadoop-2.7.3/sbin/hadoop-daemon.shstartjournalnode3）主节点执行初始化操作namenode1~/hadoop-2.7.3/bin/hdfsnamenode-form...
代码星球 ·2021-02-03
首页上一页12345...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他