Flinkonyarn依赖hadoop集群，在没有启动hadoop之前，直接执行Flink启动命令./bin/yarn-session.sh-n1-jm1024-tm4096结果就是flink连不上ResourceManager，脚本一直卡在着进行重试2018-05-1914:36:08,062INFOorg.apac...

一.经验1.SparkStreaming包含三种计算模式：nonstate.stateful.window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。5.kafka的...

问题导读1. Centos7如何安装配置？2. linux网络配置如何进行？3. linux环境下java 如何安装？4. linux环境下SSH免密码登录如何配置？5. linux环境下Hadoop2.7 如何安装？6. linux环境下...

操作系统：Centos,Ubuntu,Redhat,suse,Freebsd网站服务：nginx,apache,lighttpd,php,tomcat,resin数据  库：MySQL,MariaDB,PostgreSQLDB中间件：maxscale,MyCat,atlas,cobar,amoeba...

 命令功能说明线上查询及帮助命令(2个)man查看命令帮助，命令的词典，更复杂的还有info，但不常用。help查看Linux内置命令的帮助，比如cd命令。文件和目录操作命令(18个)ls全拼list，功能是列出目录的内容及其内容属性信息。cd全拼changedirectory，功能是从当前工作目录切换到指定...

-----------------------------运维相关-------------------------redis持久化，两种方式1、rdb快照方式2、aof日志方式----------rdb快照------------save9001save30010save6010000stop-writes-on-b...

　　运维工作中需要掌握不同的技术方向中的不同工具，搜集了运维部分技术领域的成熟工具，以备学习！操作系统：Centos,Ubuntu,Redhat,suse,Freebsd网站服务：nginx,apache,lighttpd,php,tomcat,resin数据库：MySQL,MariaDB,PostgreSQLDB中间...

这里，仅从技术角度出发，谈谈OpenStack云平台在部署、架构和运维实施等方面的感想。缘起，在2014年大二首次接触到OpenStack，当时国内外资料远没有当前这么丰富，为安装一个OpenStackH版环境（一台笔记本用VMwareWorkstation虚拟出2台虚拟机）愣是用了1个星期多，最后仍然创建虚拟机失败。...

一、ps可以查看进程的内存占用大小，写一个脚本计算一下所有进程所占用内存大小的和。（提示，使用psaux列出所有进程，过滤出RSS那列，然后求和）注：ps-ef与psaux效果一样使用随意importoslist=[]sum=0str1=os.popen('psaux','r').readlines()foriinst...

目录简单介绍概述安装部署一、环境要求二、下载源码包并解压三、准备数据库四、修改配置文件五、配置环境变量六、启动kafka-eagle七、成功运行简单介绍概述Kafka-eagle是一个为了简化开发者和服务工程师维护Kafka集群工作的监控管理工具。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者...

集群架构规划和设计只要是涉及到高并发高流量的项目，基本上都需要。本文主要围绕两个方面，一个是IDC的规划和选择，另一个是CDN。一、IDC的规划和选择IDC的选择是网站上线前要做的最重要的事情之一。哪怕发展初期只有一台服务器，选择一个位置不错的机房托管，都会助益良多。也许有人会问IDC是什么？我引用百度百科来回答:ID...

在一个网站应用系统的完整生命周期中，上线之前还有漫长的开发和测试阶段。作为系统未来的管理者和负责人，运维人员有必要在这个阶段就参与进来，根据业务的预期，完成系统层面的容量和压力测试，根据测试数据做出切实的运维规划，包括采购清单、结构设计、预警阈值和应急预案等。可以说，监控，是防止“千里之堤，溃于蚁穴&rdq...

对于日益积累的监控数据，显然需要有规划地进行存储和分析，做到“故障没来时有预防，故障来临时有提示，故障到来时有解决方案”。一、时间序列存储对于大多数监控数据，都有一个天然的类似数据库主键的属性，那就是时间。所以，通常情况下，各类监控系统的后台数据库都可以认为是时间序列的数据存储，并由此诞生了一批...

一、采集点的取舍说到数据分析，首先当然是数据越全面越详细越好。因为这有助于分析得出比较正确的结果，从而做出合理的决策。1.服务器数据采集的服务器数据主要围绕着这么几个？(1)服务器负载(2)磁盘读写(3)网卡流量如何采集这些数据，可以通过zabbix监控获取。关于zabbix学习，可以参考我的这篇博客:zabbix学习...

一、关注产品比服务器更重要无论是Web网站还是要移动应用，最终都要呈现给用户的，不是服务器的负载图，而是产品本身。而从产品形态展示到服务器的请求处理，这个过程中有很多过程，这也同样是运维人员需要关注的。哪怕后台再烂，Bug一大堆，也能支撑的了现有系统的用户访问。因为作为运维人员职责并不是开发，而是保证开发出来的系统不会...