Flink-源码学习-FlinkCore-TaskManager-任务运行服务
一、概述
二、TaskManagerServices 架构
TaskManagerServices 中包含多种多样的内部组件,以实现不同的功能。
2.1. 公共基础服务
安全服务 SecurityManager
通信服务 RpcEnv
序列化服务 SerializerManager
度量系统
Flink 作为优秀的开源系统,在监控方面也有自己的一整套体系,Flink 基于 Metrics 实现了自己的度量系统。
2.2. 运行时服务
存储服务
Flink 提供的存储服务包括内存管理服务和文件管理服务,TaskManager 启动时也会初始化 I/O 管理组件 IOManager 负责将数据溢出到磁盘并将其读取回来以及内存管理组件 MemoryManager 负责协调内存使用。
引用本站文章Flink 源码学习-存储服务-架构设计Joker数据传输服务
Flink 内部节点之间的通信是用 Akka,比如 JobManager 和 TaskManager 之间的通信。而 operator 之间的数据传输是利用 Netty。
引用本站文章Flink-源码学习-数据传输服务-架构设计Joker
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Joker!
评论
ValineTwikoo