51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#Dfs
图、dfs、bfs
graphdfsbfs1.clonegraph2.copylistwithrandompointer3.topologicalsorting4.permutations5.subsets6.nqueens7.subsetsII 8.palindromepartitioning9.combinationsum1...
代码星球
·
2020-10-13
dfs
bfs
分布式存储Seaweedfs源码分析
基于源码版本号0.67,【Seaweedfs以前旧版叫Weedfs】。Seaweedfs 是一个非常优秀的由golang开发的分布式存储开源项目,虽然在我刚开始关注的时候它在github.com上面只有star50+,但是我觉得这个项目是一个几千star量级的优秀开源项目。 Seaweedfs&nb...
代码星球
·
2020-10-02
分布式
存储
Seaweedfs
源码
分析
HDFS Sink使用技巧
1、文件滚动策略在HDFSSink的文件滚动就是文件生成,即关闭当前文件,创建新文件。它的滚动策略由以下几个属性控制:hdfs.rollInterval基于时间间隔来进行文件滚动,默认是30,即每隔30秒滚动一个文件。0就是不使用这个策略。hdfs.rollSize基于文件大小进行文件滚动,默认是1024,即当文件大于...
代码星球
·
2020-09-20
HDFS
Sink
使用技巧
Linux安装FastDFS~Nginx~
确保Linux联网,我这里使用的是CentOS7操作,联网教程https://www.cnblogs.com/taopanfeng/p/10978752.html 先把指定的四个文件放入指定目录安装所需的插件yum-yinstallvimwgetzlibzlib-develpcrepcre-develgccg...
代码星球
·
2020-09-10
Linux
安装
FastDFS
Nginx
面试:第八章:SpringMVC、Springboot、Mybatis、Dubbo、Zookeeper、Redis、Elasticsearch、Nginx 、Fastdfs、ActiveMQ
SpringMVC:简单的介绍一下SpringMvc的工作原理?1、用户向服务器发送请求,请求被SpringMVC的前端控制器DispatcherServlet截获。2、DispatcherServlet对请求的URL(统一资源定位符)进行解析,得到URI(请求资源标识符),然后根据该URI,调用HandlerMapp...
代码星球
·
2020-09-09
面试
第八
SpringMVC
Springboot
Mybatis
FastDFS分布式文件系统
资料下载大纲 FastDFS架构包括Trackerserver和Storageserver。客户端请求Trackerserver进行文件上传、下载,通过Ttackerserver调度,最总由Storageserver完成文件上传和下载。 &...
代码星球
·
2020-09-09
FastDFS
分布式
文件
系统
hadoop入门到实战(18)优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化
1.1、NameNode的元数据备份使用SSD1.2、定时备份NameNode上的元数据 建议每小时或者每天备份,如果数据极其重要,可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。1.3、为NameNode指定多个元数据目录 使用dfs.name.dir或者...
代码星球
·
2020-09-05
优化
hadoop
入门
实战
技巧
解决Maven无法下载fastdfs-client-java依赖,Dependency 'org.csource:fastdfs-client-java:1.27-SNAPSHOT' not found.
因为fastdfs-client-java-1.27-SNAPSHOT.jar这个依赖包在maven中央仓库是没有的,需要自己编译源码成jar本地安装到maven的本地仓库,安装完以后就能正常引用了(注意:本地必须安装了Maven,并配置好Maven环境变量)<dependency><groupId&...
代码星球
·
2020-08-31
fastdfs-client-java
解决
Maven
无法
下载
RPC简介与hdfs读过程与写过程简介
RemoteProcedureCall远程过程调用协议 RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层...
代码星球
·
2020-08-27
简介
过程
RPC
hdfs
HDFS的java客户端编写
注意:下面的所有代码都是在linux的eclipse中进行编写。 1.首先测试从hdfs中下载文件:下载文件的代码:(将hdfs://localhost:9000/jdk-7u65-linux-i586.tar.gz文件下载到本地/opt/download/doload.tgz)packagecn.q...
代码星球
·
2020-08-27
HDFS
java
客户端
编写
hdfs的datanode工作原理
datanode的作用: (1)提供真实文件数据的存储服务。 (2)文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是128MB,以一个256MB文件...
代码星球
·
2020-08-27
hdfs
datanode
工作
原理
hdfs文件上传机制与namenode元数据管理机制
文件上传过程: 1.客户端想NameNode申请上传文件, 2.NameNode返回此次上传的分配DataNode情况给客户端 3.客户端开始依向dataName上传对应的block数据块。 4.上传完成之后通知namenode,namenode利用pipe管道机制进行文件的备...
代码星球
·
2020-08-27
机制
hdfs
文件
上传
namenode
hdfs的shell操作
在搭建环境的过程中我们用过: 以 hadoopfs 表示filesystem开头 查询所有的hdfsshell命令[root@localhostcurrent]#hadoopfsUsage:hadoopfs[genericoptions][-appendT...
代码星球
·
2020-08-27
hdfs
shell
操作
hdfs基本思想
(1)不适合大量小文件存储; (2)不适合并发写入,不支持文件随机修改;(只能append追加) (3)不支持随机读等低延时的访问方式 主从结构 主节点,namenode 从节点,有很多个:datanodenamenode负责: 接收用户操作请求 维护文件系...
代码星球
·
2020-08-27
hdfs
基本
思想
poj1699--Best Sequence(dfs+剪枝)
题目链接:点击打开链接题目大意:给出n个字符串。要求组合后的串最短#include<cstdio>#include<cstring>#include<algorithm>usingnamespacestd;charstr[12][22];chars[300],s1[300];intv...
代码星球
·
2020-08-25
poj1699--Best
Sequence
dfs+
剪枝
首页
上一页
...
4
5
6
7
8
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他