转载博客地址：http://blog.csdn.net/zxl333/article/details/8454319转载博客地址：http://blog.csdn.net/zxl333/article/details/8685157  一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面，还没法根本解决大型网站面临的高负载和高并发问题。上面提供的几个解决思路在一定程度上也意味着更大的投入，并且这样的解...

/本文选自云栖大会下一代云数据库分析专场讲师自修的演讲——《TSDB云边一体化时序时空数据库技术揭秘》 自修——阿里云智能数据库产品事业部高级专家第一代时序时空数据处理工具虽然通用关系数据库可以存储时序数据，但是由于缺乏针对时间的特殊优化，比如按时间间隔存储和检索数据等等，因此在处理这些数据时效率相对不高。第一代时序数据典型来源于监控领域，直接基于平板文件的简单存储工具成为这类数据的首先存储方式。以RRDTool，Wishper为代表，通常这类系统处理的数据模型比较单一，单机容量受限，并且内嵌于监控告警方案。第二代面向时序时空领域的数据库伴随着大数据和Hadoop的发展，时序数据量开始迅速增长，系统业务对于处理时序数据的扩展性等方面提出更多的要求。基于通用存储而专门构建的时间序列数据库开始出现，它可以按时间间隔高效地存储和处理这些数据。像OpenTSDB，KairosDB等等。这类时序数据库在继承通用存储优势的基础上，利用时序的特性规避部分通用存储的劣势，并且在数据模型，聚合分析方面做了贴合时序的大量创新。比如OpenTSDB继承了HBase的宽表属性结合时序设计了偏移量的存...

上一期我们介绍了如何基于KnativeServerless技术实现天气服务-上篇，首先我们先来回顾一下上篇介绍的内容：通过高德天气API接口，每隔3个小时定时发送定时事件，将国内城市未来3天的天气信息，存储更新到表格存储提供RESTfulAPI查询天气信息接下来我们介绍如何通过表格存储提供的通道服务，实现Knative对接表格存储事件源，订阅并通过钉钉发送天气提醒通知。回顾一下整体架构：通过CronJob事件源，每隔3个小时定时发送定时事件，将国内城市未来3天的天气信息，存储更新到表格存储提供RESTfulAPI查询天气信息通过表格存储提供的通道服务，实现TableStore事件源通过Borker/Trigger事件驱动模型，订阅天气信息根据订阅收到的天气信息进行钉钉消息通知。如明天下雨，提示带伞等首先我们介绍一下表格存储提供的通道服务。通道服务（TunnelService）是基于表格存储数据接口之上的全增量一体化服务。通道服务为您提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。通过数据通道可以...

笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写MapReduceJob做ETL，用Hive做Adhocquery，用Tableau做数据可视化，用R做数据分析）。今天我想借此机会和大家聊聊我所理解的大数据现状和未来。首先让我们来聊聊什么是大数据。大数据这个概念已经出来很多年了（超过10年），但一直没有一个准确的定义（也许也并不需要）。数据工程师（DataEngineer）对大数据的理解会更多从技术和系统的角度去理解，而数据分析人员（DataAnalyst）对大数据理解会从产品的角度去理解，所以数据工程师（DataEngineer)和数据分析人员（DataAnalyst）所理解的大数据肯定是有差异的。我所理解的大数据是这样的，大数据不是单一的一种技术或者产品，它是所有与数据相关的综合学科。看大数据我会从2个维度来看，一个是数据流的维度（下图的水平轴），另外一个是技术栈的维度（下图的纵轴）。其实我一直不太喜欢张口闭口讲“大数据”，我更喜欢说“数据”。因...

9月26日,在云栖大会SaaS加速器专场上，阿里云重磅发布了全域集成解决方案。作为一款强大的集成中台产品，它能够提升5倍全域集成效率，更好地解决现代企业在数字化转型过程中面临的日益增多的IT系统间的协同需求。会上，百胜软件、鑫合易家、上海得帆等合作伙伴，以及阿里巴巴达摩院的研究员等行业专家一同参与了发布仪式。阿里云高级技术专家李立峰现场演示了全域集成解决方案操作系统，以“拖拽-配置”的方式，5分钟就能用可视化模式搭建企业常见的发票识别集成应用。李立峰表示，阿里云全域集成解决方案能够综合运用“Data数据集成”“API接口集成”和“UI界面集成”三层集成技术，让以前难以集成的系统，找到最适合的集成方法；并且通过一个统一的集成中台，让所有的系统都先链接至该中台，降低了系统的拓扑复杂度。阿里云全域集成解决方案的架构，能够从最底层的各个连接器、协议、路由、会话等基本技术模块出发，形成独特的“Data数据集成”“API接口集成”和“UI界面集成”三层集成技术，再通过上层的“数据智能集成中台”“开发扩展集成中台”“流程调度集成中台”和“事件驱动集成中台”四个功能模块，共同为云服务SaaS集成（CS...

近日，亚太CDN产业联盟主办的2019亚太内容分发大会在上海召开。本次大会以"5G分发"为主题，集结了CDN领域近千名行业领袖、专家参与。在会上，阿里云斩获“CDN领袖奖”、“技术突破奖”两项大奖。 阿里云CDN于2014年正式商业化，在行业率先推出“按需购买、按量付费、一键配置”的云CDN模式，打破传统CDN不透明的市场格局，引领了行业变革。之后，阿里云CDN通过几轮近乎疯狂的降价，腰斩国内CDN价格，释放科技普惠，降低大视频行业准入门槛，一路见证了直播、短视频的井喷式发展。其发展最为迅猛的阶段，增速曾达到传统CDN厂商的20倍。十年期间，阿里云CDN业务实现超1200倍的增长。目前，阿里云CDN在全球部署2800+节点，具备130Tb带宽储备，服务于全球超30万客户，每天为超过百万的域名加速，承接数十亿次的刷新。依托阿里巴巴丰富的生态系统以及全球覆盖的基础设施网络，阿里云CDN在文娱、电商、金融、体育等众多领域拥有丰富的商业实践。在2018年俄罗斯世界杯期间，阿里云承载全网70%的流量，支撑优酷单场2400万人次在线观看。2018年8月，阿里云CDN首次通过低延时直播网络...

九月末的杭州因为一场云栖大会变得格外火热。9月25日，吸引全球目光的2019杭州云栖大会如期开幕。20000平米的展区集结数百家企业，为数万名开发者带来了一场前沿科技的饕餮盛宴。如同往年一样，位于C馆的阿里巴巴空间站无疑是最受瞩目的展区。展区中，阿里云飞天、基础设施服务、大数据、AIoT、边缘计算、安全等核心技术悉数亮相，同时展示了了传统企业上云、互联网企业上云、一云多端行业场景等多项垂直解决方案。其中，阿里云应用上边缘云解决方案作为互联网企业上云的助推器，在现场展示。应用上边缘云解决方案，实际上是借助于阿里云广域覆盖的边缘计算节点提供的计算、存储、GPU等基础设施，提供秒级批量下发、全国覆盖、安全稳定的边缘算力，帮助企业应用快速构建边缘云上业务架构，解决企业的本地化、弹性扩容、低成本、低延时、易运维等业务诉求。该解决方案具备一键资源交付、云原生部署、资源实时监控、开放的PaaS方案几大核心价值。支持全国算力一键创建，系统智能选点及应用包秒级下发；借助云边统一的K8S部署及边缘自治能力，实现高效的应用部署、升级、配置、伸缩；基于云监控的完整体系，实时监控边缘云资源与网络，并支持通过钉钉...

9月26日，阿里云在2019杭州云栖大会上发布了SaaS加速器3.0版“一云多端”多个应用平台，展示了阿里云给伙伴带来的多种商业和技术红利。阿里云SaaS加速器将帮助伙伴做好SaaS，卖好SaaS；帮助企业选好SaaS，用好SaaS。SaaS加速器是为合作伙伴提供应用开发加速、集成加速、上云加速和售卖加速的技术和商业平台。数字经济时代，越来越多企业客户的需求不再局限于单一的IaaS，而是融合生态协同效应与行业定制化需求的IaaS、PaaS、SaaS一体化云服务。基于此背景，阿里云重磅发布了SaaS加速器中的多个应用平台：应用开发——宜搭Plus，相比起0代码宜搭的表单和流程组件，低代码开发平台宜搭Plus能够适应更加复杂的搭建场景，提升6倍研发效率；应用集成——全域集成方案，包括界面集成，接口集成和数据集成，能够提升5倍全域集成效率；应用上云——上云工具包2.0，合作伙伴可通过接入实现产品1周上云，商品1周上市。同时，SaaS加速器夯实了能力中心，全新发布阿里云API网关和API集市，将技术和商业更紧密结合在一起，赋能给合作伙伴。阿里云资深技术专家黄省江表示：“阿里云不做SaaS，但会...

Kubernetes，从官方网站上可以看到，它是一个工业级的容器编排平台。Kubernetes这个单词是希腊语，它的中文翻译是“舵手”或者“飞行员”。在一些常见的资料中也会看到“ks”这个词，也就是“K8s”，它是通过将8个字母“ubernete”替换为“8”而导致的一个缩写。Kubernetes为什么要用“舵手”来命名呢？大家可以看一下这张图：这是一艘载着一堆集装箱的轮船，轮船在大海上运着集装箱奔波，把集装箱送到它们该去的地方。我们之前其实介绍过一个概念叫做container，container这个英文单词也有另外的一个意思就是“集装箱”。Kubernetes也就借着这个寓意，希望成为运送集装箱的一个轮船，来帮助我们管理这些集装箱，也就是管理这些容器。这个就是为什么会选用Kubernetes这个词来代表这个项目的原因。更具体一点地来说：Kubernetes是一个自动化的容器编排平台，它负责应用的部署、应用的弹性以及应用的管理，这些都是基于容器的。服务的发现与负载的均衡；容器的自动装箱，我们也会把它叫做scheduling，就是“调度”，把一个容器放到一个集群的某一个机器上，Kuber...

在Logging这块做了几年，最近1年来越来越多的同学来咨询如何为Kubernetes构建一个日志系统或者是来求助在这过程中遇到一系列问题如何解决，授人以鱼不如授人以渔，于是想把我们这些年积累的经验以文章的形式发出来，让看到这篇文章的同学能少走弯路。这个系列文章定位为长篇连载，内容偏向落地实操以及经验分享，且内容会随着技术的迭代而不定期更新。第一次听到Kubernetes的名字是在16年，那个时候Kubernetes还处于和DockerSwarm、Mesos方案的“三国鼎立时代”，Kubernetes由于一系列优势（可扩展、声明式接口、云友好）在这一竞争中崭露头角，最终获得统治地位。Kubernetes作为CNCF最核心的项目（没有之一），是CloudNative（云原生）落地的底座，目前阿里已经全面基于Kubernetes在开展全站的云原生改造，在1-2年内，阿里巴巴100%的业务都将跑在公有云上。CloudNative在CNCF的定义的核心是：在公有云、私有云、混合云等环境中，通过Containers、ServiceMeshes、MicroServices、ImmutableInf...

首先我们必须承认，Java8是一个里程碑式的版本，这个相信大多数Java程序员都认同，其中最知名的是Streams&Lambda，这让FunctionalProgramming成为可能，让Java换发新的活力。这也是即便Oracle不在支持Java8的更新，各个云厂商还是积极支持，站点为https://adoptopenjdk.net/，可以让Java8能继续保留非常长的时间。目前非常多的同学日常开发并没有切换到Java8后续的版本，所以这篇文章，我们打算写一个后Java8时代的特性，主要是偏向于开发的，不涉及GC,Compiler,JavaModule,Platform等，如果一一解释，估计非常长的文章，当然后续可以写另外文章介绍。下面的这些特性会影响到我们日常的代码编写。考虑到Java13马上发布，所以版本覆盖从9到13，与此同时JavaRelease的方式调整，一些特性是在某一版本引入(preview)，后续收到反馈后做了非常多的增强和完善，这里就不一一说明特性是哪个版本的，你可以理解为后Java8版本后的特性大杂烩。参考资料来源于官方features和pluralsig...

/导读：成长即意味着改变，而改变本身是一件很痛苦的事情。改变会有连锁反应，一次改变之后，你的心态和认知可能会和以前大有不同。平凡的人总是相似，不凡的人各有各的不凡，技术人的成长道路依然很长！本文由阿里巴巴前端技术专家悟寻将他在阿里的成长思考进行分享，希望能够给正在业务中深耕细作的你带来一些思考和方向。我将我经历过的或者正在经历的状态，分成三个阶段进行总结：求生存，谋发展，修体系。作为一个服务一线业务的前端同学，支撑好业务占据我们50%-60%左右的KPI，纵观行业前端本身很容易成为整个业务的资源瓶颈，而身为业务的前端我相信一定经历过疲于奔命，经常线上救火的事情。我入职后的前一年主要做进口业务：天猫国际，一个包含平台和自营的业务。当时的进口业务还处于野蛮生长，竞争激烈的阶段。经常面临一年两大改，日常需求不断，期间还要应付一年的5个S级的大促和一些小促，我记得最忙的时候是17年双十一，面临着自营和平台两块业务的大迭代，同时还需要面临双十一大促各种需求，每天除了做业务几乎没有什么思考和总结的过程。而经过那次之后我也深刻体会到对于需求管理和时间管理&如何避免线上起火的重要性。这里我结合...

/简介： 本文为资深数据科学家常见的10个错误提供解决方案。数据科学家是“比软件工程师更擅长统计学，比统计学家更擅长软件工程的人”。许多数据科学家都具有统计学背景，但是在软件工程方面的经验甚少。我是一名资深数据科学家，在Stackoverflow的python编程方面排名前1%，并与许多（初级）数据科学家共事。以下是我经常看到的10大常见错误，本文将为你相关解决方案：不共享代码中引用的数据对无法访问的路径进行硬编码将代码与数据混合在Git中和源码一起提交数据编写函数而不是DAG写for循环不编写单元测试不写代码说明文档将数据保存为csv或pickle文件使用jupyternotebook数据科学需要代码和数据。因此，为了让别人可以复现你的结果，他们需要能够访问到数据。道理很简单，但是很多人忘记分享他们代码中的数据。importpandasaspddf1=pd.read_csv('file-i-dont-have.csv')#failsdo_stuff(df)解决方案：使用d6tpipe（https://github.com/d6t/ d6tpipe）来共享你的代码中...

/阿里妹导读：在业务团队做事的工程师摸爬滚打了一段时间后，一定会有所疑问。团队同学在最初的一段时间都提出这样的疑惑：如何在业务中发现有技术价值的问题？发现问题后如何思考和发起再到解决？最后的技术结果跟业务结果如何衔接？很多时候我们听别人说“思考是不够的/要多思考”，其实都是在说这几点。接下来，阿里高级前端技术专家氐宿谈一谈遇到这三个问题时，他是如何解决的？一位科学家一生可用于研究的时间极其有限，然而，世界上的研究主题却多得数不清。如果只因为稍微觉得有趣就选为研究主题，将在还没来得及做真正重要的事时，一生就结束了。——利根川进其实要解答这个问题之前，我们要理解一个概念，什么是有价值的问题？议题度高和解答质高的问题我理解就是有价值的问题，比较通俗的理解就是这个问题是否存在，当前要解决这个问题的必要性够不够，问题对应的解决方案可行性高不高。如果要在业务里发现这种问题，首先要理解业务战略、打法和定位。那如何才能把这个前置信息做好，对工程师来说是一个比较大的挑战。首先工程师其实大多数都是从事一线开发，对业务理解可能仅限于自己在做的事情。很多信息都是别人过滤了五六手之后的信息，得到的可能就是一个任...

一年一度的网络顶级学术峰会Sigcomm于8月20日至22日在北京举行。作为ACMSpecialInterestGrouponDataCommunication的旗舰会议，Sigcomm汇聚了全球网络界顶尖学术研究人员、工程研发人员和技术爱好者，共同探索网络技术的前沿议题。今年恰逢Sigcomm组织成立50周年，也是Sigcomm会议首次在中国大陆举办，阿里云有幸深度参与本次盛会。阿里云智能参与了今年Sigcomm的诸多环节。在现场的Postersession上，阿里云展示了下一代网络NFV平台架构、智能网络平台“齐天”、云连接网CCN等目前已经规模化落地应用的核心网络技术，吸引了大量参会同仁前来驻足交流。图为阿里云网络高级技术专家王佩龙为参观者现场讲解演示“齐天”智能网络平台。此外，来自阿里云智能的两篇论文《HPCC:HighPrecisionCongestionControl》和《SafelyandAutomaticallyUpdatingIn-NetworkACLConfigurationswithIntentLanguage》从220多篇投稿中脱颖而出，在主会场做了现场解读。在...