#亿级

正式开放 | 阿里云 10 亿级镜像服务正式支持 Helm Charts,云原生交付再加速!

2018年6月,Helm正式加入了CNCF孵化项目;2018年8月,据CNCF的调研表明,有百分之六十八的开发者选择了Helm作为其应用包装方案;2019年6月,阿里云正式开放了开放云原生应用中心,为国内用户提供了海量的本地化HelmCharts应用;2019年7月,阿里云镜像服务企业版正式开放了HelmCharts托...

阿里云SaaS生态战略发布:成就亿级营收独角兽

/导语:本文中,阿里云智能资深技术专家黄省江从“势”“道”“术”三个方面分享了自己对于SaaS生态的理解,并介绍了SaaS加速器发布以来在产品、技术和商业侧最新的一些进展。在321北京峰会上,阿里云公布了不做SaaS,倡导“被集成”的生态策略,同时发布了SaaS加速器,那么4个月过去了,最新的进展是什么?我们又有什么新...

亿级消息系统的核心存储:Tablestore发布Timeline 2.0模型

背景互联网快速发展的今天,社交类应用、消息类功能大行其道,占据了大量网络流量。大至钉钉、微信、微博、知乎,小至各类App的推送通知,消息类功能几乎成为所有应用的标配。根据场景特点,我们可以将消息类场景归纳成三大类:IM(钉钉、微信)、Feed流(微博、知乎)以及常规消息队列。因此,如何开发一个简便而又高效IM或Feed...

亿级流量电商详情页系统的大型高并发与高可用缓存架构

1、亿级流量电商网站的商品详情页系统架构面临难题:对于每天上亿流量,拥有上亿页面的大型电商网站来说,能够支撑高并发访问,同时能够秒级让最新模板生效的商品详情页系统的架构是如何设计的?解决方案:异步多级缓存架构+nginx本地化缓存+动态模板渲染的架构2、redis企业级集群架构面临难题:如何让redis集群支撑几十万Q...

亿级用户下的新浪微博平台架构

一、序新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA)、高并发访问、低延时的强大后台系统支撑。微博平台第一代架构为LAMP架构,数据库使用的是MyIsam,后台用的是php,缓存为Memcache。随着...

布隆过滤器(亿级数据过滤算法)

介绍我们以演进的方式来逐渐认识布隆过滤器。先抛出一个问题爬虫系统中URL是怎么判重的?你可能最先想到的是将URL放到一个set中,但是当数据很多的时候,放在set中是不现实的。这时你就可能想到用数组+hash函数来实现了。index = hash(URL) % table.len...

亿级数据DB如何实现秒级平滑扩容

一般来说数据库是通过一个微服务逻辑统一访问,通常数据库访问两个库的架构图如下所示:随着数据量的增大,数据库要进行水平切分,分库后将数据分布到不同的数据库实例(甚至物理机器)上,以达到降低数据量,增强性能的扩容目的。如上图所示,用户库user分布在四个实例上,ip0和ip1,服务层通过用户标识uid取模的方式进行寻库路由...

今日头条用Go建千亿级微服务 分析详细,适合新手理解概念[转载的]

今日头条当前后端服务超过80%的流量是跑在Go构建的服务上。微服务数量超过100个,高峰QPS超过700万,日处理请求量超过3000亿,是业内最大规模的Go应用。Go构建微服务的历程在2015年之前,头条的主要编程语言是Python以及部分C++。随着业务和流量的快速增长,服务端的压力越来越大,随之而来问题频出。Pyt...

MyCat:第七章:MyCAT的亿级别任务

Top1亿级别的大量结果集排序、分组(groupby)、分页 (Limit)的优化问题资料:目前假如一个查询SQL跨越30个分片,每个分片上有1000万数据,则总数据规模为3亿,Select ×fromA orderbyfield1,field2 Limit100000,100即...

ES亿级别数据分页

 面试题:在数据量很大的情况下,怎么实现深度分页?大家在面试时,或者准备面试中可能会遇到上述的问题,大多的回答基本上是分库分表建索引,这是一种很标准的正确回答,但现实总是很骨感,所以面试官一般会追问你一句,现在工期不足,人员不足,该怎么实现深度分页?这个时候没有实际经验的同学基本麻爪,So,请听我娓娓道来。首...
代码星球 代码星球·2020-09-08

万亿级数据洪峰下的分布式消息引擎

通过简单回顾阿里中间件(Aliware)消息引擎的发展史,本文开篇于双11消息引擎面临的低延迟挑战,通过经典的应用场景阐述可能会面临的问题-响应慢,雪崩,用户体验差,继而交易下跌。为了应对这些不可控的洪峰数据,中间件团队通过大量研究和实践,推出了低延迟高可用解决方案,在分布式存储领域具有一定的普适性。在此基础上,通过对...

Python 操作 mongodb 亿级数据量使用 Bloomfilter 高效率判断唯一性 例子

工作需要使用python处理mongodb数据库两亿数据量去重复,需要在大数据量下快速判断数据是否存在参考资料:https://segmentfault.com/q/1010000000613729网上了解到BloomFilter,Bloomfilter是由HowardBloom在1970年提出的二进制向量数据结构,它...

亿级流量系统架构之如何设计每秒十万查询的高并发架构

亿级流量架构专栏:亿级流量系统架构之如何支撑百亿级数据的存储与计算亿级流量系统架构之如何设计高容错分布式计算系统亿级流量系统架构之如何设计承载百亿流量的高性能架构亿级流量系统架构之如何设计每秒数十万查询的高并发架构亿级流量系统架构之如何设计全链路99.99%高可用架构【敬请期待】上篇文章(亿级流量系统架构之如何设计承载...

亿级数据的高并发通用搜索引擎架构设计

最新的搜索引擎架构,目前已经写出“搜索查询接口”和“索引更新接口”的beta版。经测试,在一台“奔腾四3.6GHz双核CPU、2GB内存”的普通PC机,7000万条索引记录的条件下,“搜索查询接口”平均查询速度为0.0XX秒...

全网微博数据每日亿级实时采集

原文链接:https://blog.csdn.net/nghuyong/article/details/85160577前言做微博数据抓取有很长一段时间了,最近把这样任务做到了极致。简单的说,就是,现在全网任何活跃用户发送的一条微博,能够实时抓取到并存入本地数据库。这项工作对微博网络舆情的监控预警,有非常重大的意义.下...
首页上一页12下一页尾页