一section是什么？好吧，我们需要解释一下平时编译链接生成的二进制可执行程序（比如说ELF，EXE也行），so或者dll，内核（非压缩的，参加本系列第一节内容、vmlinux），或者ko是怎么组织的。其实，大家或多或少都知道这些二进制中包括有什么text/bss/data节（也叫section）。text节存储的是...

每一个文件，都可以通过一个structstat的结构体来获得文件信息，其中一个成员st_nlink代表文件的链接数。      当通过shell的touch命令或者在程序中open一个带有O_CREAT的不存在的文件时，文件的链接数为1。  ...

奇安信集团作为一家网络安全公司，专门为政府、企业，教育、金融等机构和组织提供企业级网络安全技术、产品和服务，奇安信的NGSOC产品的核心引擎是一个CEP引擎，用于实时检测网络攻击，其技术演进过程如下图所示。2015年开始使用基于Esper的CEP方案，但是当时遇到了很多问题，其中最显著的是性能问题，因为Esper对于规...

众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS，当同一个集群的Job到达一定数量后，会对HDFS造成非常大的压力，本文将介绍一种大幅度...

写过blinksql的同学应该都有体会，明明写的时候就很顺滑，小手一抖，洋洋洒洒三百行代码，一气呵成。结果跑的时候，吞吐量就是上不去。导致数据延迟高，消息严重积压，被业务方疯狂吐槽。这时候，老鸟就会告诉你，同学，该优化优化你的代码了，再丢过来一个链接，然后留下一脸懵逼的你。笔者就是这么过来的，希望本文能帮助到跟我有过同...

笔者线上有一个Flink任务消费Kafka数据，将数据转换后，在Flink的Sink算子内部调用第三方api将数据上报到第三方的数据分析平台。这里使用批量同步api，即：每50条数据请求一次第三方接口，可以通过批量api来提高请求效率。由于调用的外网接口，所以每次调用api比较耗时。假如批次大小为50，且请求接口的平均...

/导读：当今生活节奏日益加快，企业面对不断增加的海量信息，其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化，企业App中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验，甚至引发了用户流失。在此背景下，友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构...

过去无论您是在生产中使用，还是调研ApacheFlink，估计您总是会问这样一个问题：我该如何访问和更新Flink保存点（savepoint）中保存的state？不用再询问了，ApacheFlink1.9.0引入了状态处理器（StateProcessor）API，它是基于DataSetAPI的强大扩展，允许读取，写入和...

无论在OLAP还是OLTP领域，Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言，经过数据库领域多年的积累，Join语义以及实现已经十分成熟，然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据集，而Streami...

ApacheFlink是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前，Flink已成为Apache基金会和GitHub社区最为活跃的项目之一。在FlinkForwardAsia2019上，阿里巴巴资深技术专家，实时计算负责人王峰(莫问)总结了2019年Flink在中国的...

/摘要：如何基于Flink搭建大规模准实时数据分析平台？在FlinkForwardAsia2019上，来自Lyft公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了Lyft基于ApacheFlink的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面：Lyft的流数据与场景准实时数据分析平台和...

ClouderaDataFlow(CDF)作为Cloudera一个独立的产品单元，围绕着实时数据采集，实时数据处理和实时数据分析有多个不同的功能模块，如下图所示：图中4个功能模块从左到右分别解释如下：ClouderaEdgeManagement(CEM)，主要是指在边缘设备如传感器上部署MiNiFi的agent后用于采...

本文根据ApacheFlink实战&进阶篇系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分：FlinkCEP概念以及使用场景。如何使用FlinkCEP。如何扩展...

Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的FlinkBatchSQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。Stack首先来看下stack，在新的Blinkplan...

 11月28-30日，北京迎来了入冬以来的第一场雪，2019FlinkForwardAsia（FFA）也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷，FFA实际到会人次超过2000，同比去年增加近100%。FlinkForward是由Apache官方授权举办的会议，每年在欧洲、北美洲、亚洲各举办一场。通过参会不仅...