#大规模

阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

众所周知Flink是当前广泛使用的计算引擎,Flink使用checkpoint机制进行容错处理[1],Flink的checkpoint会将状态快照备份到分布式存储系统,供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS,当同一个集群的Job到达一定数量后,会对HDFS造成非常大的压力,本文将介绍一种大幅度...

Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

/摘要:如何基于Flink搭建大规模准实时数据分析平台?在FlinkForwardAsia2019上,来自Lyft公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了Lyft基于ApacheFlink的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面:Lyft的流数据与场景准实时数据分析平台和...

阿里云上万个 Kubernetes 集群大规模管理实践

 /在2019年双11中,容器服务ACK支撑了阿里巴巴内部核心系统容器化和阿里云的云产品本身,也将阿里巴巴多年的大规模容器技术以产品化的能力输出给众多围绕双11的生态公司。通过支撑来自全球各行各业的容器云,容器服务沉淀了支持单元化全球化架构和柔性架构的云原生应用托管中台能力,管理了超过1W个以上的容器集群。本...

阿里巴巴大规模神龙裸金属 Kubernetes 集群运维实践

 本文节选自《不一样的双11技术:阿里巴巴经济体云原生实践》一书,点击即可完成下载。/导读:值得阿里巴巴技术人骄傲的是2019年阿里巴巴双11 核心系统100%以云原生的方式上云,完美支撑了 54.4w峰值流量以及 2684亿的成交量。背后承载海量交易的计算力就是来源于容器技术与...

预警| Confluence 高危漏洞被大规模利用,阿里云WAF接入即可防护,支持免费应急服务

2019年4月4日,阿里云安全应急响应中心监测到Confluence官方发布安全更新指出,WidgetConnector存在服务端模板注入漏洞,攻击者能利用此漏洞实现目录穿越遍历甚至远程命令执行。4月10日远程命令执行PoC被公开,阿里云监测到此漏洞被大规模利用,4月12日凌晨攻击流量达到第二次高峰。4月6日出现第一次...

Nacos 发布 1.0.0 GA 版本,可大规模投入到生产环境

经过3个RC版本的社区体验之后,Nacos正式发布1.0.0GA版本,在架构、功能和API设计上进行了全方位的重构和升级。1.0.0版本的发布标志着Nacos已经可以大规模的在生产环境中使用,新版本不仅针对社区的需求和集群的稳定性相应地增加了一些新特性,而且还发布了服务发现模块的性能测试报告,以及完整的API列表和架构...

Watchdogs利用Redis实施大规模挖矿,常见数据库蠕虫如何破?

背景2月20日17时许,阿里云安全监测到一起大规模挖矿事件,判断为Watchdogs蠕虫导致,并在第一时间进行了应急处置。该蠕虫短时间内即造成大量Linux主机沦陷,一方面是利用Redis未授权访问和弱密码这两种常见的配置问题进行传播,另一方面从known_hosts文件读取ip列表,用于登录信任该主机的其他主机。这两...

高危预警|RDP漏洞或引发大规模蠕虫爆发,用户可用阿里云免费检测服务自检,建议尽快修复

2019年9月6日,阿里云应急响应中心监测到Metasploit-framework官方在GitHub空间公开了针对Windows远程桌面服务远程命令执行漏洞(CVE-2019-0708)的利用代码。利用该代码,无需用户交互操作,即可在目标系统上执行任意命令,或者造成服务器拒绝服务。不法分子可以通过该漏洞传播恶意蠕虫,...

高危预警| SQL数据库成主要攻击对象,或引发新一轮大规模勒索

近日,阿里云安全团队发现,目前互联网上的服务器,SQL数据库仍然有不少处于直接暴露在公网的状态,且数量有上升趋势。黑客可以利用数据库存在的漏洞或弱口令直接获取数据,并植入勒索和挖矿病毒寻求牟利。阿里云安全专家发现,近期云上用户的数据库因弱口令被勒索的事件也有明显增势,需要引起关注,该类事件或将引发大规模勒索爆发,企业需...

超大规模商用 K8s 场景下,阿里巴巴如何动态解决容器资源的按需分配问题?

/导读:资源利用率一直是很多平台管理和研发人员关心的话题。本文作者通过阿里巴巴容器平台团队在这一领域的工作实践,整理出了一套资源利用提升的方案,希望能够带给大家带来一些讨论和思考。不知道大家有没有过这样的经历:当我们拥有了一套Kubernetes集群,然后开始部署应用的时候,我们应该给容器分配多少资源呢?这很难说。由于...

阿里云李响:阿里巴巴大规模云原生应用是如何实现的?

6月26日,云原生领域顶级大会KubeCon+CloudNativeCon落下帷幕,作为云原生技术与应用的领先企业,阿里云全面展示了云原生产品家族、开源全景图,让企业、开发者轻松享受云的技术红利。如今,阿里云已经成为国内云原生领域开源贡献最全面的科技公司,涵盖编排调度、作业管理、无服务器框架等:●主导维护etcd、co...

etcd 在超大规模数据场景下的性能优化

/作者|阿里云智能事业部高级开发工程师陈星宇(宇慕)etcd是一个开源的分布式的kv存储系统,最近刚被cncf列为沙箱孵化项目。etcd的应用场景很广,很多地方都用到了它,例如kubernetes就用它作为集群内部存储元信息的账本。本篇文章首先介绍我们优化的背景,为什么我们要进行优化,之后介绍etcd内部存储系统的工作...

大规模请求下,Linux 服务器连接数优化设置

作者:heiyeluren一般一个大规模Linux服务器请求数可能是几十万上百万的情况,需要足够的连接数来使用,所以务必进行相应的设置。默认的Linux服务器文件描述符等打开最大是1024,用 ulimit-a查看:[viewuser@~]$ ulimit -acore file...

【问底】徐汉彬:Web系统大规模并发——电商秒杀与抢购

一、大规模并发带来的挑战 在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个Web系统遇到了很多的问题和挑战。如果Web系统不做针对性的优化,会轻而易举地陷入到异常状态。我们现在一起来讨论下,优化的思路和方法哈。 1.请求接口的合理设计一个秒杀或者抢购页面,通常分为2个部分,一...

MongoDB数据库遭大规模勒索攻击,被劫持26000多台服务器 #精选GITHUBMYSQL

昨天,一个大新闻爆出,MongoDB数据库叕被攻击了。就在上周末,三个黑客团伙劫持了MongoDB逾26000多台服务器,其中规模最大的一组超过22000台。  此次攻击由安全专家DylanKatz和VictorGevers发现,被他们称为是“MongoDB启示录”的延续。所谓的“MongoDB启示...
首页上一页12下一页尾页