大家好，今天我将跟大家分享一下Flink里面的Checkpoint，共分为四个部分。首先讲一下Checkpoint与state的关系，然后介绍什么是state，第三部分介绍如何在Flink中使用state，第四部分则介绍Checkpoint的执行机制。Checkpoint是从source触发到下游所有节点完成的一次全局...

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。Flink社区将推出FlinkonYARN应用解读系列文章，分为上、下两篇。本文基于FLIP-6重构后的资源调度模型将介绍FlinkonYARN应用启动全流程，并进行详细...

本文为ApacheFlink新版本重大功能特性解读之FlinkSQL系列文章的开篇，FlinkSQL系列文章由其核心贡献者们分享，涵盖基础知识、实践、调优、内部实现等各个方面，带你由浅入深地全面了解FlinkSQL。今年的8月22日ApacheFlink发布了1.9.0版本(下文简称1.9)，在Flink1.9中，Ta...

/摘要：ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。目前，ApacheFlink1.9.0版本已经正式发布，该版本有什么样的里程碑意义，又具有哪些重点改动和新功能呢？本文中，阿里巴巴高级技术专家伍翀就为大家带来...

在Flink中，状态可靠性保证由Checkpoint支持，当作业出现failover的情况下，Flink会从最近成功的Checkpoint恢复。在实际情况中，我们可能会遇到Checkpoint失败，或者Checkpoint慢的情况，本文会统一聊一聊Flink中Checkpoint异常的情况（包括失败和慢），以及可能的原...

Flink的API大体上可以划分为三个层次：处于最底层的ProcessFunction、中间一层的DataStreamAPI和最上层的SQL/TableAPI，这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层API。在DataStreamAPI这一层中因为封装...

本文主要介绍FlinkRuntime的作业执行的核心机制。首先介绍FlinkRuntime的整体架构以及Job的基本执行流程，然后介绍在这个过程，Flink是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍FlinkRuntime层当前正在进行的一些工作。Flink的整体架构如图1所示。Flink是可以...

目前实时计算的产品已经有两种模式，即共享模式和独享模式。这两种模式都是全托管方式，这种托管方式下用户不需要关心整个集群的运维。其次，共享模式和独享模式使用的都是Blink引擎。这两种模式为用户提供的主要功能也类似，都提供开发控制台；开发使用的都是BlinkSQL，其中独享模式由于进入了用户的VPC，部署在用户的ECS上...

本文根据ApacheFlink系列直播课程整理而成，由ApacheFlinkPMC，阿里巴巴高级技术专家孙金城分享。重点为大家介绍FlinkPythonAPI的现状及未来规划，主要内容包括：ApacheFlinkPythonAPI的前世今生和未来发展；ApacheFlinkPythonAPI架构及开发环境搭建；Apac...

本文主要分享Flinkconnector相关内容，分为以下三个部分的内容：第一部分会首先介绍一下FlinkConnector有哪些。第二部分会重点介绍在生产环境中经常使用的kafkaconnector的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。Flink是新一代流批统一的计算引擎，它需要从不同的第...

上周六在深圳分享了《FlinkSQL1.9.0技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的Demo代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于FlinkSQL的初学者能有所帮助。完整分享可以观看Meetup视频回顾：https://developer.aliyun.com/liv...

ApacheFlink从1.9.0版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。SQL是大数据领域中的重要应用场景，为了完善Flink的生态，发掘Flink在批处理方面的潜力，我们决定增强Fl...

8月22日，ApacheFlink1.9.0正式发布，早在今年1月，阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向ApacheFlink贡献代码。当前Flink1.9.0是阿里内部版本Blink合并入Flink后的首次发版，修改代码150万行，此次发版不仅在结构上有重大变更，在功能特性上也更加强大与...

8月22日，ApacheFlink1.9.0版本正式发布，这也是阿里内部版本Blink合并入Flink后的首次版本发布。此次版本更新带来的重大功能包括批处理作业的批式恢复，以及TableAPI和SQL的基于Blink的新查询引擎（预览版）。同时，这一版本还推出了StateProcessorAPI，这是社区最迫切需求的功...

finkslink后的数据被复写了？？？生产环境总会遇到各种各样的莫名其名的数据，一但考虑不周便是车毁人亡啊。 线上sink流是es,es的文档id是自定义的id+windowSatarTime设windowsize=10min,watermark最大延迟时间是10s,.数据中的eventtime是乱序到达的...