奇安信集团作为一家网络安全公司，专门为政府、企业，教育、金融等机构和组织提供企业级网络安全技术、产品和服务，奇安信的NGSOC产品的核心引擎是一个CEP引擎，用于实时检测网络攻击，其技术演进过程如下图所示。2015年开始使用基于Esper的CEP方案，但是当时遇到了很多问题，其中最显著的是性能问题，因为Esper对于规...

众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS，当同一个集群的Job到达一定数量后，会对HDFS造成非常大的压力，本文将介绍一种大幅度...

笔者线上有一个Flink任务消费Kafka数据，将数据转换后，在Flink的Sink算子内部调用第三方api将数据上报到第三方的数据分析平台。这里使用批量同步api，即：每50条数据请求一次第三方接口，可以通过批量api来提高请求效率。由于调用的外网接口，所以每次调用api比较耗时。假如批次大小为50，且请求接口的平均...

/导读：当今生活节奏日益加快，企业面对不断增加的海量信息，其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化，企业App中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验，甚至引发了用户流失。在此背景下，友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构...

过去无论您是在生产中使用，还是调研ApacheFlink，估计您总是会问这样一个问题：我该如何访问和更新Flink保存点（savepoint）中保存的state？不用再询问了，ApacheFlink1.9.0引入了状态处理器（StateProcessor）API，它是基于DataSetAPI的强大扩展，允许读取，写入和...

无论在OLAP还是OLTP领域，Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言，经过数据库领域多年的积累，Join语义以及实现已经十分成熟，然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据集，而Streami...

ApacheFlink是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前，Flink已成为Apache基金会和GitHub社区最为活跃的项目之一。在FlinkForwardAsia2019上，阿里巴巴资深技术专家，实时计算负责人王峰(莫问)总结了2019年Flink在中国的...

/摘要：如何基于Flink搭建大规模准实时数据分析平台？在FlinkForwardAsia2019上，来自Lyft公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了Lyft基于ApacheFlink的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面：Lyft的流数据与场景准实时数据分析平台和...

ClouderaDataFlow(CDF)作为Cloudera一个独立的产品单元，围绕着实时数据采集，实时数据处理和实时数据分析有多个不同的功能模块，如下图所示：图中4个功能模块从左到右分别解释如下：ClouderaEdgeManagement(CEM)，主要是指在边缘设备如传感器上部署MiNiFi的agent后用于采...

本文根据ApacheFlink实战&进阶篇系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分：FlinkCEP概念以及使用场景。如何使用FlinkCEP。如何扩展...

Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的FlinkBatchSQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。Stack首先来看下stack，在新的Blinkplan...

 11月28-30日，北京迎来了入冬以来的第一场雪，2019FlinkForwardAsia（FFA）也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷，FFA实际到会人次超过2000，同比去年增加近100%。FlinkForward是由Apache官方授权举办的会议，每年在欧洲、北美洲、亚洲各举办一场。通过参会不仅...

 /11月28日，FlinkForwardAsia2019在北京国家会议中心召开，阿里在会上发布Flink1.10版本功能前瞻，同时宣布基于Flink的机器学习算法平台Alink正式开源，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。在去年的FlinkForwar...

本文为FlinkSQL系列文章的第二篇，前面对Flink1.9Table新架构及Planner的使用进行了详细说明，本文详细讲解5个TableEnvironment及其适用场景，并介绍Flink社区对TableEnvironment的未来规划。主要内容如下：TableEnvironment简介5个TableEnviro...

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。Flink社区将推出FlinkonYARN应用解读系列文章，分为上、下两篇。上篇分享了基于FLIP-6重构后的资源调度模型介绍FlinkonYARN应用启动全流程，本文将...