数据仓库是⼀个各种数据的中⼼存储系统(包括历史数据和当前数据)，是BI的核⼼组件。这⾥所说的数据包括来⾃ 企业内部的各种业务数据，例如订单、库存、交易流、账⽬、客户、供应商等，同时也包括从外部获取的各种数 据，例如爬⾍通过合法⼿段爬取得数据。 一、数仓概述1.1. 数仓&BI商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出合理的、明智的经营决策的⼯具，是企业数 字化转型的关键系统。为了将数据转化为知识，需要利⽤数据仓库、联机分析处理(OLAP)⼯具和数据挖掘等技术。 1.2. OLTP vs OLAP1.2.1. OLTPOLTP(Online Transaction Process) 联机事务处理，侧重于数据库的增删查改等常⽤业务操作，强调事物和并发。 1.2.2. OLAPOLAP(Online Analytical Process) 联机分析处理，即以多维的⽅式分析数据，强调磁盘IO吞吐，⼀般采⽤分区技术、并⾏处理技术。 OLAP是⼀种软件技术，它使分析⼈员能够迅速、⼀致、交互式的从各⽅⾯观察数据，以达到深⼊理解数据的⽬ 的。从各⽅⾯观察数据，也 ...

数据湖是⼀个以原始格式(通常是对象块或⽂件)存储数据的系统或存储库。数据湖通常是所 有企业数据的单⼀存储。⽤于报告、可视化、⾼级分析和机器学习等任务。数据湖可以包括来⾃关系数据库的结构 化数据(⾏和列)、半结构化数据(CSV、⽇志、XML、JSON)、⾮结构化数据(电⼦邮件、⽂档、pdf)和⼆进制数据(图 像、⾳频、视频) 原始格式：数据不做预处理，保存数据的原始状态 单⼀存储：存储库中会汇总多种数据源，是⼀个单⼀库 ⽤于机器学习：除了 BI 、报表分析，数据湖更适⽤于机器学习 一、概述1.1. OLTP -> OLAP -> HTAP -> 数据湖 概念 场景 典型代表 主要优缺点 数据库 OLTP 三大数据库（Oracle、 MySQL、SQLServer） OLTP支持的非常好， OLAP支持弱 数据仓库 OLAP Teradata、Greenplum、 Hive+HDFS、ClickHouse、 Kylin OLAP支持非常好，OLTP 不支持或者支持的弱 混合数据库 HTAP=OLTP+OLAP Kudu(先OLAP在OLTP) ...

JobManager 根据 JobGragh 生成 ExecutionGragh, ExecutionGragh 是 JobGragh 的并行化版本，是调度层最核心的数据结构。来到 ExecutionGraph 构建源码分析～，有点难～～～ 一、概述JobManager 根据 JobGragh 生成ExecutionGragh, ExecutionGragh是JobGragh的并行化版本，是调度层最核心的数据结构，每个 ExecutionGraph 都有一个与其相关联的作业状态。此作业状态指示作业执行的当前状态 ExecutionJobVertex 和 JobGraph 中的 JobVertex一一对应。每一个 ExecutionJobVertex 都有和并发度一样多的 ExecutionVertex。 ExecutionVertex 表示 ExecutionJobVertex 的其中一个并发子任务，输入是ExecutionEdge，输出是 IntermediateResultPartition。 IntermediateResult 和JobGraph中的Inte ...

JobGraph 数据结构在本质上是将节点和中间结果集相连得到有向无环图。JobGraph 是客户端和运行时之间进行作业提交使用的统一数据结构，不管是流式 (StreamGraph) 还是批量 (OptimizerPlan)，最终都会转换成集群接受的 JobGraph 数据结构。 一、概述StreamGraph 经过优化后生成了 JobGraph，提交给 JobManager 的数据结构它包含的主要抽象概念有： Jobvertex 经过优化后符合条件的多个 StreamNode 可能会 chain 在一起生成一个 Jobvertex, 即一个 JobVertex 包含一个或多个 operator, JobVertex 的输入是 JobEdge，输出是 IntermediateDataSet。 IntermediateDataSet 表示 JobVertex 的输出，即经过 operator 处理产生的数据集。producer 是 Jobvertex, consumer 是 JobEdge JobEdge 代表了job graph中的一条数据传输通道。sour ...

根据用户通过 Stream API 编写的代码，从 Source 节点开始，每一次 transform 生成一个 StreamNode，两个 StreamNode 通过 StreamEdge 连接在一起,形成 DAG StreamNode 用来代表 operator 的类，并具有所有相关的属性，如并发度、入边和出边等。 StreamEdge表示连接两个StreamNode的边。 一、概述StreamGraph 结构是由 StreamGraphGenerator 通过 Transformation 集合转换而来的，StreamGraph 实现了Pipeline的接口，且通过有向无环图的结构描述了 DataStream 作业的拓扑关系。StreamGraph结构包含 StreamEdge 和 StreamNode 等结构，此外，StreamGraph结构还包含任务调度模式 ScheduleMode 及 TimeCharacteristic 时间概念类型等与作业相关的参数。 StreamGraph 中存储了这个 StreamGraph 中的所有 StreamNode， 在 ...

CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛： 数据同步：用于备份，容灾； 数据分发：一个数据源分发给多个下游系统； 数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。 一、CDC 概述CDC 的技术方案非常多，目前业界主流的实现机制可以分为两种： 1.1. 基于查询的 CDC 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据； 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更； 不保障实时性，基于离线调度存在天然的延迟。 1.2. 基于日志的 CDC： 实时消费日志，流处理，例如 MySQL 的 binlog 日志完整记录了数据库中的变更，可以把 binlog 文件当作流的数据源； 保障数据一致性，因为 binlog 文件包含了所有历史变更明细； 保障实时性，因为类似 binlog 的日志文件是可以流式 ...

一个 Flink 流式作业，从 Client 提交到 Flink 集群，到最后执行，总共会经历四种不同的状态。总的来说： Client 首先根据用户编写的代码生成 StreamGraph，然后把 StreamGraph 构建成 JobGraph 提 交给 Flink 集群主节点 然后启动的 JobMaster 在接收到 JobGraph 后，会对其进行并行化生成 ExecutionGraph 后调度 启动 StreamTask 执行。 StreamTask 并行化的运行在 Flink 集群，就是最终的物理执行图状态结构。 一、概述Flink 中的执行图可以分成四层：StreamGraph ==> JobGraph ==> ExecutionGraph ==> 物理执行图。 StreamGraph 根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph StreamGraph 经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起 ...

Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。 一、Flink CDC 介绍从广义的概念上讲，能够捕获数据变更的技术, 我们都可以称为 CDC 技术。通常我们说的 CDC 技术是一种用于捕获数据库中数据变更的技术。CDC 技术应用场景也非常广泛，包括： 数据分发，将一个数据源分发给多个下游，常用于业务解耦、微服务。 数据集成，将分散异构的数据源集成到数据仓库中，消除数据孤岛，便于后续的分析。 数据迁移，常用于数据库备份、容灾等。 目前，Flink CDC 的上游已经支持了 MySQL、MariaDB、PG、Oracle、MongoDB 等丰富的数据源，对 Oceanbase、TiDB、SQLServer 等数据库的支持也已经在社区的规划中。 Flink CDC 的下游则更加丰富，支持写入 Kafka、Pulsar 消息队列，也支持写入 Hudi、Iceberg 等数据湖，还支持写入各种数据仓 ...

ResourceManager 作为统一的集群资源管理器，用于管理整个集群的计算资源，包括 CPU 资源、内存资源等。同时，ResourceManager 负责向集群资源管理器中申请容器资源启动 TaskManager 实例，并对 TaskManager 进行集中管理。当新的作业提交到集群后，JobManager 会向 ResourceManager 申请作业执行需要的计算资源，进而完成整个作业的运行 让我们看看注册机制源码👀😈～～～ 一、概述当 TaskManager 所在的RPC 服务启动后，TaskManager 会和 ResourceManager之间创建RPC连接，此时TaskManager将自身的信息注册到 ResourceManager 中，并长期保持 与 ResourceManager 之间的心跳连接。ResourceManager 接收到TaskManager的注册信息后，将TaskManager资源信息存储在 SlotManager 服务中进行管理。 二、源码在TaskExecutor.startTaskExecutorServices()方法中，主要通过 ...

作为整个运行时的工作节点，TaskManager 提供了作业运行过程中需要的Slot 计算资源，JobManager中提交的Task实例都会运行在TaskManager组件上，我们 Debug 看看TaskManager的启动源码👀～～～ 一、概述在这个 TaskManager 启动过程中，最重要的事情，就是在 TaskManager初始化了一些基础服务和一些 对外提供服务的核心服务，向 JobManager 进行 TaskManager 的注册，并且在注册成功之后，维持 TaskManager 和 JobManager 的心跳，从JobManager 接收需要部署的任务，使用 Slot 资源启动 Task 二、源码2.1. 启动脚本Flink 集群的启动脚本在：flink-dist 子项目中，位于 flink-bin 下的 bin 目录：启动脚本为：startcluster.sh 该脚本会首先调用 config.sh 来获取 masters 和 workers，masters 的信息，是从 conf/masters 配置 文件中获取的， workers 是从 con ...