Hadoop-组件-HDFS-源码学习系列
一、阅读环境搭建
引用本站文章
Hadoop-组件-HDFS-源码学习-源码阅读环境搭建
Joker
二、架构设计
HDFS 集群遵循主从架构。每个群集包括一个主节点和多个从节点。在内部,文件分为一个或多个块,每个块根据复制因子存储在不同的从节点计算机上。主节点存储和管理文件系统名称空间,即有关文件块的信息,例如块位置,权限等。从节点存储文件的数据块。主从各司其职,互相配合,共同对外提供分布式文件存储服务。当然内部细节对于用户来说是透明的。
引用本站文章
Hadoop-组件-HDFS-理论笔记-HDFS 架构设计
Joker
三、通信服务
Hadoop 作为分布式存储系统,各个节点之间的通信和交互是必不可少的,需要实现一套节点间的通信交互机制。RPC(Remote Procedure CallProtocol,远程过程调用协议)允许本地程序像调用本地方法一样调用远程机器上应用程序提供的服务,所以 Hadoop 实现了一套自己的 RPC 框架。
引用本站文章
Hadoop-组件-HDFS-源码学习-RPC 通信服务系列
Joker
四、集群启动
4.1. DataNode
架构设计
引用本站文章Hadoop-组件-HDFS-源码学习-HDFS 架构设计-DataNode 架构设计Joker启动设计
引用本站文章Hadoop-组件-HDFS-源码学习-集群启动-DataNode 启动设计Joker
4.2. NameNode
五、集群管理
引用本站文章
Hadoop-组件-HDFS-源码学习-HDFS 集群管理
Joker
六、读写数据
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Joker!
评论
ValineTwikoo