#集群

部署kubernetes1.8.3高可用集群

Kubernetes作为容器应用的管理平台,通过对pod的运行状态进行监控,并且根据主机或容器失效的状态将新的pod调度到其他node上,实现了应用层的高可用。针对kubernetes集群,高可用性还包含以下两个层面的考虑:etcd存储的高可用master节点的高可用在开始之前,先贴一下架构图:etcd作为kubern...

Docker Swarm集群部署

Swarm在Docker1.12版本之前属于一个独立的项目,在Docker1.12版本发布之后,该项目合并到了Docker中,成为Docker的一个子命令。目前,Swarm是Docker社区提供的唯一一个原生支持Docker集群管理的工具。它可以把多个Docker主机组成的系统转换为单一的虚拟Docker主机,使得容器...
代码星球 ·2020-09-24

redis集群 应该注意的问题

rediscluster注意的问题:‘cluster-require-full-coverage’参数的设置。该参数是redis配置文件中cluster模式的一个参数,从字面上基本就能看出它的作用:需要全部覆盖! 具体点是rediscluster需要16384个slot都正常的时候才能...

使用PM2将Node.js的集群变得更加容易

  众所周知,Node.js运行在Chrome的JavaScript运行时平台上,我们把该平台优雅地称之为V8引擎。不论是V8引擎,还是之后的Node.js,都是以单线程的方式运行的,因此,在多核心处理器的系统中并不能发挥其最大的性能。  幸运的是,Node.js给我们提供了cluster模块,它可以生成多个工作线程来...

SurFS:共享式和分布式集群各取所长

http://www.ccidnet.com/2016/0811/10168835.shtml一个集群系统可以做成三层定义,也就是后端存储访问层、沟通协作层、前端数据访问层,如果愣是要给每个层起个洋名以略显逼格的话,那么就叫做SAL、CL、FAL好了。这上面的三层每一层都有两种架构,SAL层有共享式和分布式,CL层有对...

【转】Twitter Storm: 在生产集群上运行topology

发表于 2011 年 10 月 07 日 由 xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://x...

Storm集群搭建

1、下载、解压缩2、编辑conf/storm.yaml12345678910111213141516storm.zookeeper.servers:     -"vm1"#    -"server2"# storm.zo...
代码星球 ·2020-09-20

大数据集群运维(36)linux下的几个网络流量监控工具使用

1、nethogs1)NetHogs是一款开源、免费的,终端下的网络流量监控工具,它可监控Linux的进程或应用程序的网络流量。NetHogs只能实时监控进程的网络带宽占用情况。NetHogs支持IPv4和IPv6协议,支持本地网卡以及PPP链接2)debian下安装apt-getinstallnethogscento...

大数据集群运维(35)sqoop安装与使用

  sqoop是什么:在关系数据库和hadoop之间数据的相互转换的工具。安装:原生安装:appache1.解压安装,2.重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh为sqoop-env.sh3.修改sqoop-env.sh配置:填写Hadoop,hba...

大数据集群运维(33)MongoDB各系统上安装

MongoDB的文档模型自由灵活,可以让你在开发过程中畅顺无比。对于大数据量、高并发、弱事务的互联网应用,MongoDB可以应对自如。MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力,完全可以满足Web2.0和移动互联网的数据存储需求,其开箱即用的特性也大大降低了中小型网站的运维成本。对于创业团队...

大数据集群运维(34)flume安装与使用

  1.flume简介Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。2.安装和使用说明:...

大数据集群运维(32)spark开发环境详细教程1:IntelliJ IDEA使用详细说明

各种开发环境的搭建,其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程,其实可以通过文本或则cmd即可。还有maven,sbt等。后来的发展过程中,为了更加方便我们编程,于是发展出来了,更高级的编程工具,Java有eclipse等工具,而Scala有IntelliJIDEA.当然eclipse也可以写Sca...

大数据集群运维(28) Kylin 配置使用 flink 构建 Cube

Kylinv3.1引入了Flinkcubeengine,在buildcube步骤中使用ApacheFlink代替MapReduce;您可以查看 KYLIN-3758 了解具体信息。当前的文档使用样例cube对如何尝试newengine进行了演示。您需要一个安装了Kylinv3.1.0及以上版本的Ha...

大数据集群运维(31)Spark提交任务时报beyond virtual memory limits错误

以Spark-Client模式运行,Spark-Submit时出现了下面的错误:User:hadoopName:SparkPiApplicationType:SPARKApplicationTags:YarnApplicationState:FAILEDFinalStatusReportedbyAM:FAILEDSta...

大数据集群运维(30)spark安装与使用(入门)

一:在linux下安装java环境(自行安装jdk)二:安装Scala2.9.3$tar-zxfscala-2.9.3.tgz$sudomvscala-2.9.3/usr/lib$sudovim/etc/profile#addthefollowinglinesattheendexportSCALA_HOME=/usr/...
首页上一页...1011121314...下一页尾页