51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#集群
部署kubernetes1.8.3高可用集群
Kubernetes作为容器应用的管理平台,通过对pod的运行状态进行监控,并且根据主机或容器失效的状态将新的pod调度到其他node上,实现了应用层的高可用。针对kubernetes集群,高可用性还包含以下两个层面的考虑:etcd存储的高可用master节点的高可用在开始之前,先贴一下架构图:etcd作为kubern...
代码星球
·
2020-09-24
部署
kubernetes1.8.3
高可用
可用
集群
Docker Swarm集群部署
Swarm在Docker1.12版本之前属于一个独立的项目,在Docker1.12版本发布之后,该项目合并到了Docker中,成为Docker的一个子命令。目前,Swarm是Docker社区提供的唯一一个原生支持Docker集群管理的工具。它可以把多个Docker主机组成的系统转换为单一的虚拟Docker主机,使得容器...
代码星球
·
2020-09-24
Docker
Swarm
集群
部署
redis集群 应该注意的问题
rediscluster注意的问题:‘cluster-require-full-coverage’参数的设置。该参数是redis配置文件中cluster模式的一个参数,从字面上基本就能看出它的作用:需要全部覆盖! 具体点是rediscluster需要16384个slot都正常的时候才能...
代码星球
·
2020-09-24
redis
集群
应该
注意
问题
使用PM2将Node.js的集群变得更加容易
众所周知,Node.js运行在Chrome的JavaScript运行时平台上,我们把该平台优雅地称之为V8引擎。不论是V8引擎,还是之后的Node.js,都是以单线程的方式运行的,因此,在多核心处理器的系统中并不能发挥其最大的性能。 幸运的是,Node.js给我们提供了cluster模块,它可以生成多个工作线程来...
代码星球
·
2020-09-24
使用
PM2
Node.js
集群
变得
SurFS:共享式和分布式集群各取所长
http://www.ccidnet.com/2016/0811/10168835.shtml一个集群系统可以做成三层定义,也就是后端存储访问层、沟通协作层、前端数据访问层,如果愣是要给每个层起个洋名以略显逼格的话,那么就叫做SAL、CL、FAL好了。这上面的三层每一层都有两种架构,SAL层有共享式和分布式,CL层有对...
代码星球
·
2020-09-21
SurFS
共享
分布式
集群
各取所长
【转】Twitter Storm: 在生产集群上运行topology
发表于 2011 年 10 月 07 日 由 xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://x...
代码星球
·
2020-09-20
Twitter
Storm
生产
集群
运行
Storm集群搭建
1、下载、解压缩2、编辑conf/storm.yaml12345678910111213141516storm.zookeeper.servers: -"vm1"# -"server2"# storm.zo...
代码星球
·
2020-09-20
Storm
集群
搭建
大数据集群运维(36)linux下的几个网络流量监控工具使用
1、nethogs1)NetHogs是一款开源、免费的,终端下的网络流量监控工具,它可监控Linux的进程或应用程序的网络流量。NetHogs只能实时监控进程的网络带宽占用情况。NetHogs支持IPv4和IPv6协议,支持本地网卡以及PPP链接2)debian下安装apt-getinstallnethogscento...
代码星球
·
2020-09-20
数据
集群
运维
linux
几个
大数据集群运维(35)sqoop安装与使用
sqoop是什么:在关系数据库和hadoop之间数据的相互转换的工具。安装:原生安装:appache1.解压安装,2.重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh为sqoop-env.sh3.修改sqoop-env.sh配置:填写Hadoop,hba...
代码星球
·
2020-09-20
数据
集群
运维
sqoop
安装
大数据集群运维(33)MongoDB各系统上安装
MongoDB的文档模型自由灵活,可以让你在开发过程中畅顺无比。对于大数据量、高并发、弱事务的互联网应用,MongoDB可以应对自如。MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力,完全可以满足Web2.0和移动互联网的数据存储需求,其开箱即用的特性也大大降低了中小型网站的运维成本。对于创业团队...
代码星球
·
2020-09-20
数据
集群
运维
MongoDB
系统
大数据集群运维(34)flume安装与使用
1.flume简介Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。2.安装和使用说明:...
代码星球
·
2020-09-20
数据
集群
运维
flume
安装
大数据集群运维(32)spark开发环境详细教程1:IntelliJ IDEA使用详细说明
各种开发环境的搭建,其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程,其实可以通过文本或则cmd即可。还有maven,sbt等。后来的发展过程中,为了更加方便我们编程,于是发展出来了,更高级的编程工具,Java有eclipse等工具,而Scala有IntelliJIDEA.当然eclipse也可以写Sca...
代码星球
·
2020-09-20
详细
数据
集群
运维
spark
大数据集群运维(28) Kylin 配置使用 flink 构建 Cube
Kylinv3.1引入了Flinkcubeengine,在buildcube步骤中使用ApacheFlink代替MapReduce;您可以查看 KYLIN-3758 了解具体信息。当前的文档使用样例cube对如何尝试newengine进行了演示。您需要一个安装了Kylinv3.1.0及以上版本的Ha...
代码星球
·
2020-09-20
数据
集群
运维
Kylin
配置
大数据集群运维(31)Spark提交任务时报beyond virtual memory limits错误
以Spark-Client模式运行,Spark-Submit时出现了下面的错误:User:hadoopName:SparkPiApplicationType:SPARKApplicationTags:YarnApplicationState:FAILEDFinalStatusReportedbyAM:FAILEDSta...
代码星球
·
2020-09-20
数据
集群
运维
Spark
提交
大数据集群运维(30)spark安装与使用(入门)
一:在linux下安装java环境(自行安装jdk)二:安装Scala2.9.3$tar-zxfscala-2.9.3.tgz$sudomvscala-2.9.3/usr/lib$sudovim/etc/profile#addthefollowinglinesattheendexportSCALA_HOME=/usr/...
代码星球
·
2020-09-20
数据
集群
运维
spark
安装
首页
上一页
...
10
11
12
13
14
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他