一、概述

二、TaskManagerServices 架构

TaskManagerServices 中包含多种多样的内部组件,以实现不同的功能。

2.1. 公共基础服务

  1. 安全服务 SecurityManager

  2. 通信服务 RpcEnv

  3. 序列化服务 SerializerManager

  4. 度量系统

    Flink 作为优秀的开源系统,在监控方面也有自己的一整套体系,Flink 基于 Metrics 实现了自己的度量系统。

2.2. 运行时服务

  1. 存储服务

    Flink 提供的存储服务包括内存管理服务和文件管理服务,TaskManager 启动时也会初始化 I/O 管理组件 IOManager 负责将数据溢出到磁盘并将其读取回来以及内存管理组件 MemoryManager 负责协调内存使用。

  2. 数据传输服务

    Flink 内部节点之间的通信是用 Akka,比如 JobManager 和 TaskManager 之间的通信。而 operator 之间的数据传输是利用 Netty。