我们总结了每个技术团队都会遇到的 4 个难题

阿里巴巴2019年实习生校园招聘已经启动,为此,我们整理了一篇《每个技术团队都会遇到的4个难题》,帮助即将从校园进入公司实习的后端程序员,以实践的视角,看看一个后端技术团队会遇到的一些难题。虽然,技术上的难题远不止于此,但如果能从这篇文章中获得一些职业体感,也许对你的实习面试会有所帮助。-正文开始-从单个应用到多个应用,从百千级别的访问流量到十万、百万级别,从两三个人的创业技术团队到上千人的技术团队矩阵,这些过程中,技术团队都避不开了以下4个问题:如何预测业务峰值时的容量如何提升业务的稳定性如何提高业务的监控能力如何提高开发效率早期的做法是在开发测试环境进行压测,来评估线上容量,但线下环境的机器规模,和线上差距很大,很难通过线下推导线上。根据经验,将采购的机器加入不同的应用里面,这时候就会遇到一个问题:最大业务峰值容量是多少?这个问题,其实挺难回答的。这个应用多加几台,那个应用少加几台,整体的业务峰值承受能力就会不一样,加减的规则很难通过人的经验来确定,最多只能作为一些辅助判断。另外,核心交易链路的梳理,也是一个体力活,如果依赖人为处理,有可能会漏掉一些看起来不那么重要的”分支”,这是...

2019 年,容器技术生态会发生些什么?

1.Kubernetes项目被采纳度将持续增长作为“云原生”(CloudNative)理念落地的核心,Kubernetes项目已经成为了构建容器化平台体系的默认选择。但是,不同于一个只能生产资源的集群管理工具,Kubernetes项目最大的价值,乃在于它从一开始就提倡的声明式API和以此为基础“控制器”模式。在这个体系的指导下,Kubernetes项目保证了在自身突飞猛进的的发展过程中API层的相对稳定的和一定的向后兼容能力,这是作为一个平台级项目被用户广泛接受和认可的重要前提。更重要的是,Kubernetes项目为使用者提供了宝贵的API可扩展能力和良好的API编程范式,催生出了一个完全基于KubernetesAPI构建出来的上层应用服务生态。可以说,正是这个生态的逐步完善与日趋成熟,才确立了Kubernetes项目如今在云平台领域牢不可破的领导地位,也间接宣告了其它竞品方案的边缘化。与此同时,上述事实标准的确立,也使得“正确和合理的使用了Kubernetes的能力”,在某种意义上成为了评判上层应用服务框架(比如PaaS和Serverless)的一个重要依据:这不仅包括了对框架本身复...

打造“云边一体化”,时序时空数据库TSDB技术原理深度解密

/本文选自云栖大会下一代云数据库分析专场讲师自修的演讲——《TSDB云边一体化时序时空数据库技术揭秘》 自修——阿里云智能数据库产品事业部高级专家第一代时序时空数据处理工具虽然通用关系数据库可以存储时序数据,但是由于缺乏针对时间的特殊优化,比如按时间间隔存储和检索数据等等,因此在处理这些数据时效率相对不高。第一代时序数据典型来源于监控领域,直接基于平板文件的简单存储工具成为这类数据的首先存储方式。以RRDTool,Wishper为代表,通常这类系统处理的数据模型比较单一,单机容量受限,并且内嵌于监控告警方案。第二代面向时序时空领域的数据库伴随着大数据和Hadoop的发展,时序数据量开始迅速增长,系统业务对于处理时序数据的扩展性等方面提出更多的要求。基于通用存储而专门构建的时间序列数据库开始出现,它可以按时间间隔高效地存储和处理这些数据。像OpenTSDB,KairosDB等等。这类时序数据库在继承通用存储优势的基础上,利用时序的特性规避部分通用存储的劣势,并且在数据模型,聚合分析方面做了贴合时序的大量创新。比如OpenTSDB继承了HBase的宽表属性结合时序设计了偏移量的存...

Knative 实战:基于 Knative Serverless 技术实现天气服务-下篇

上一期我们介绍了如何基于KnativeServerless技术实现天气服务-上篇,首先我们先来回顾一下上篇介绍的内容:通过高德天气API接口,每隔3个小时定时发送定时事件,将国内城市未来3天的天气信息,存储更新到表格存储提供RESTfulAPI查询天气信息接下来我们介绍如何通过表格存储提供的通道服务,实现Knative对接表格存储事件源,订阅并通过钉钉发送天气提醒通知。回顾一下整体架构:通过CronJob事件源,每隔3个小时定时发送定时事件,将国内城市未来3天的天气信息,存储更新到表格存储提供RESTfulAPI查询天气信息通过表格存储提供的通道服务,实现TableStore事件源通过Borker/Trigger事件驱动模型,订阅天气信息根据订阅收到的天气信息进行钉钉消息通知。如明天下雨,提示带伞等首先我们介绍一下表格存储提供的通道服务。通道服务(TunnelService)是基于表格存储数据接口之上的全增量一体化服务。通道服务为您提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道,您可以简单地实现对表中历史存量和新增数据的消费处理。通过数据通道可以...

阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点

笔者从2008年开始工作到现在也有11个年头了,一路走来都在和数据打交道,做过大数据底层框架内核的开发(Hadoop,Pig,Tez,Spark,Livy),也做过上层大数据应用开发(写MapReduceJob做ETL,用Hive做Adhocquery,用Tableau做数据可视化,用R做数据分析)。今天我想借此机会和大家聊聊我所理解的大数据现状和未来。首先让我们来聊聊什么是大数据。大数据这个概念已经出来很多年了(超过10年),但一直没有一个准确的定义(也许也并不需要)。数据工程师(DataEngineer)对大数据的理解会更多从技术和系统的角度去理解,而数据分析人员(DataAnalyst)对大数据理解会从产品的角度去理解,所以数据工程师(DataEngineer)和数据分析人员(DataAnalyst)所理解的大数据肯定是有差异的。我所理解的大数据是这样的,大数据不是单一的一种技术或者产品,它是所有与数据相关的综合学科。看大数据我会从2个维度来看,一个是数据流的维度(下图的水平轴),另外一个是技术栈的维度(下图的纵轴)。其实我一直不太喜欢张口闭口讲“大数据”,我更喜欢说“数据”。因...

2019亚太内容分发大会,阿里云获CDN领袖奖、技术突破奖

近日,亚太CDN产业联盟主办的2019亚太内容分发大会在上海召开。本次大会以"5G分发"为主题,集结了CDN领域近千名行业领袖、专家参与。在会上,阿里云斩获“CDN领袖奖”、“技术突破奖”两项大奖。 阿里云CDN于2014年正式商业化,在行业率先推出“按需购买、按量付费、一键配置”的云CDN模式,打破传统CDN不透明的市场格局,引领了行业变革。之后,阿里云CDN通过几轮近乎疯狂的降价,腰斩国内CDN价格,释放科技普惠,降低大视频行业准入门槛,一路见证了直播、短视频的井喷式发展。其发展最为迅猛的阶段,增速曾达到传统CDN厂商的20倍。十年期间,阿里云CDN业务实现超1200倍的增长。目前,阿里云CDN在全球部署2800+节点,具备130Tb带宽储备,服务于全球超30万客户,每天为超过百万的域名加速,承接数十亿次的刷新。依托阿里巴巴丰富的生态系统以及全球覆盖的基础设施网络,阿里云CDN在文娱、电商、金融、体育等众多领域拥有丰富的商业实践。在2018年俄罗斯世界杯期间,阿里云承载全网70%的流量,支撑优酷单场2400万人次在线观看。2018年8月,阿里云CDN首次通过低延时直播网络...

共享商业&技术红利,阿里云SaaS加速器让天下没有难做的SaaS

9月26日,阿里云在2019杭州云栖大会上发布了SaaS加速器3.0版“一云多端”多个应用平台,展示了阿里云给伙伴带来的多种商业和技术红利。阿里云SaaS加速器将帮助伙伴做好SaaS,卖好SaaS;帮助企业选好SaaS,用好SaaS。SaaS加速器是为合作伙伴提供应用开发加速、集成加速、上云加速和售卖加速的技术和商业平台。数字经济时代,越来越多企业客户的需求不再局限于单一的IaaS,而是融合生态协同效应与行业定制化需求的IaaS、PaaS、SaaS一体化云服务。基于此背景,阿里云重磅发布了SaaS加速器中的多个应用平台:应用开发——宜搭Plus,相比起0代码宜搭的表单和流程组件,低代码开发平台宜搭Plus能够适应更加复杂的搭建场景,提升6倍研发效率;应用集成——全域集成方案,包括界面集成,接口集成和数据集成,能够提升5倍全域集成效率;应用上云——上云工具包2.0,合作伙伴可通过接入实现产品1周上云,商品1周上市。同时,SaaS加速器夯实了能力中心,全新发布阿里云API网关和API集市,将技术和商业更紧密结合在一起,赋能给合作伙伴。阿里云资深技术专家黄省江表示:“阿里云不做SaaS,但会...

Kubernetes 从懵圈到熟练:集群服务的三个要点和一种实现

以我的经验来讲,理解Kubernetes集群服务的概念,是比较不容易的一件事情。尤其是当我们基于似是而非的理解,去排查服务相关问题的时候,会非常不顺利。这体现在,对于新手来说,ping不通服务的IP地址这样基础的问题,都很难理解;而就算对经验很丰富的工程师来说,看懂服务相关的iptables配置,也是有相当的挑战的。今天这边文章,我来深入解释一下Kubernetes集群服务的原理与实现,便于大家理解。概念上来讲,Kubernetes集群的服务,其实就是负载均衡、或反向代理。这跟阿里云的负载均衡产品,有很多类似的地方。和负载均衡一样,服务有它的IP地址以及前端端口;服务后边会挂载多个容器组Pod作为其“后端服务器”,这些“后端服务器”有自己的IP以及监听端口。当这样的负载均衡和后端的架构,与Kubernetes集群结合的时候,我们可以想到的最直观的实现方式,就是集群中某一个节点专门做负载均衡(类似LVS)的角色,而其他节点则用来负载后端容器组。这样的实现方法,有一个巨大的缺陷,就是单点问题。Kubernetes集群是Google多年来自动化运维实践的结晶,这样的实现显然与其智能运维的哲学...

从零开始入门 K8s| 阿里技术专家详解 K8s 核心概念

Kubernetes,从官方网站上可以看到,它是一个工业级的容器编排平台。Kubernetes这个单词是希腊语,它的中文翻译是“舵手”或者“飞行员”。在一些常见的资料中也会看到“ks”这个词,也就是“K8s”,它是通过将8个字母“ubernete”替换为“8”而导致的一个缩写。Kubernetes为什么要用“舵手”来命名呢?大家可以看一下这张图:这是一艘载着一堆集装箱的轮船,轮船在大海上运着集装箱奔波,把集装箱送到它们该去的地方。我们之前其实介绍过一个概念叫做container,container这个英文单词也有另外的一个意思就是“集装箱”。Kubernetes也就借着这个寓意,希望成为运送集装箱的一个轮船,来帮助我们管理这些集装箱,也就是管理这些容器。这个就是为什么会选用Kubernetes这个词来代表这个项目的原因。更具体一点地来说:Kubernetes是一个自动化的容器编排平台,它负责应用的部署、应用的弹性以及应用的管理,这些都是基于容器的。服务的发现与负载的均衡;容器的自动装箱,我们也会把它叫做scheduling,就是“调度”,把一个容器放到一个集群的某一个机器上,Kuber...

阿里巴巴资深技术专家雷卷:值得开发者关注的 Java 8 后时代的语言特性

首先我们必须承认,Java8是一个里程碑式的版本,这个相信大多数Java程序员都认同,其中最知名的是Streams&Lambda,这让FunctionalProgramming成为可能,让Java换发新的活力。这也是即便Oracle不在支持Java8的更新,各个云厂商还是积极支持,站点为https://adoptopenjdk.net/,可以让Java8能继续保留非常长的时间。目前非常多的同学日常开发并没有切换到Java8后续的版本,所以这篇文章,我们打算写一个后Java8时代的特性,主要是偏向于开发的,不涉及GC,Compiler,JavaModule,Platform等,如果一一解释,估计非常长的文章,当然后续可以写另外文章介绍。下面的这些特性会影响到我们日常的代码编写。考虑到Java13马上发布,所以版本覆盖从9到13,与此同时JavaRelease的方式调整,一些特性是在某一版本引入(preview),后续收到反馈后做了非常多的增强和完善,这里就不一一说明特性是哪个版本的,你可以理解为后Java8版本后的特性大杂烩。参考资料来源于官方features和pluralsig...

从求生存到修体系,我在阿里找到了技术人的成长模式

/导读:成长即意味着改变,而改变本身是一件很痛苦的事情。改变会有连锁反应,一次改变之后,你的心态和认知可能会和以前大有不同。平凡的人总是相似,不凡的人各有各的不凡,技术人的成长道路依然很长!本文由阿里巴巴前端技术专家悟寻将他在阿里的成长思考进行分享,希望能够给正在业务中深耕细作的你带来一些思考和方向。我将我经历过的或者正在经历的状态,分成三个阶段进行总结:求生存,谋发展,修体系。作为一个服务一线业务的前端同学,支撑好业务占据我们50%-60%左右的KPI,纵观行业前端本身很容易成为整个业务的资源瓶颈,而身为业务的前端我相信一定经历过疲于奔命,经常线上救火的事情。我入职后的前一年主要做进口业务:天猫国际,一个包含平台和自营的业务。当时的进口业务还处于野蛮生长,竞争激烈的阶段。经常面临一年两大改,日常需求不断,期间还要应付一年的5个S级的大促和一些小促,我记得最忙的时候是17年双十一,面临着自营和平台两块业务的大迭代,同时还需要面临双十一大促各种需求,每天除了做业务几乎没有什么思考和总结的过程。而经过那次之后我也深刻体会到对于需求管理和时间管理&如何避免线上起火的重要性。这里我结合...

技术人的灵魂3问,阿里工程师如何解答?

/阿里妹导读:在业务团队做事的工程师摸爬滚打了一段时间后,一定会有所疑问。团队同学在最初的一段时间都提出这样的疑惑:如何在业务中发现有技术价值的问题?发现问题后如何思考和发起再到解决?最后的技术结果跟业务结果如何衔接?很多时候我们听别人说“思考是不够的/要多思考”,其实都是在说这几点。接下来,阿里高级前端技术专家氐宿谈一谈遇到这三个问题时,他是如何解决的?一位科学家一生可用于研究的时间极其有限,然而,世界上的研究主题却多得数不清。如果只因为稍微觉得有趣就选为研究主题,将在还没来得及做真正重要的事时,一生就结束了。——利根川进其实要解答这个问题之前,我们要理解一个概念,什么是有价值的问题?议题度高和解答质高的问题我理解就是有价值的问题,比较通俗的理解就是这个问题是否存在,当前要解决这个问题的必要性够不够,问题对应的解决方案可行性高不高。如果要在业务里发现这种问题,首先要理解业务战略、打法和定位。那如何才能把这个前置信息做好,对工程师来说是一个比较大的挑战。首先工程师其实大多数都是从事一线开发,对业务理解可能仅限于自己在做的事情。很多信息都是别人过滤了五六手之后的信息,得到的可能就是一个任...

探索云网络技术前沿,Sigcomm 2019 阿里云参会分享

一年一度的网络顶级学术峰会Sigcomm于8月20日至22日在北京举行。作为ACMSpecialInterestGrouponDataCommunication的旗舰会议,Sigcomm汇聚了全球网络界顶尖学术研究人员、工程研发人员和技术爱好者,共同探索网络技术的前沿议题。今年恰逢Sigcomm组织成立50周年,也是Sigcomm会议首次在中国大陆举办,阿里云有幸深度参与本次盛会。阿里云智能参与了今年Sigcomm的诸多环节。在现场的Postersession上,阿里云展示了下一代网络NFV平台架构、智能网络平台“齐天”、云连接网CCN等目前已经规模化落地应用的核心网络技术,吸引了大量参会同仁前来驻足交流。图为阿里云网络高级技术专家王佩龙为参观者现场讲解演示“齐天”智能网络平台。此外,来自阿里云智能的两篇论文《HPCC:HighPrecisionCongestionControl》和《SafelyandAutomaticallyUpdatingIn-NetworkACLConfigurationswithIntentLanguage》从220多篇投稿中脱颖而出,在主会场做了现场解读。在...

MaxCompute 最新特性介绍 | 2019大数据技术公开课第三季

摘要:距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间,而在这一段时间里,MaxCompute不断地在增加新的功能和特性,比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。那么,近期MaxCompute究竟还有哪些新特性呢?本文就为大家揭晓答案。以下内容根据视频及PPT整理而成。MaxCompute与阿里云大数据产品解决方案在介绍MaxCompute新功能前,我们先快速对阿里云的大数据产品解决方案进行介绍,以便不熟悉MaxCompute的朋友能快速建立认知。阿里云大数据解决方案中包含了数据接入、数据存储及处理分析、数据服务以及在线应用等这样的几个维度。通常的情况下,基于MaxCompute和阿里云大数据解决方案搭建的系统会通过DataWorks实现离线多源异构数据的同步,并向MaxCompute大数据平台加载数据。与此同时,借助于DTS日志服务、Kafka消息队列服务实现对实时数据的收集。之后,通过流式计算服务实现对于数据的实时计算和分析,并将数据投递到实时在线的服务或者回流到统一的数据仓库服务中去...

阿里巴巴大数据产品最新特性介绍 | 2019大数据技术公开课第四季

 本文作者:晋恒原文链接本文为云栖社区原创内容,未经允许不得转载。...
首页上一页...23456...下一页尾页