hadoop的hdfs四个主要功能及两大核心

文章目录

• 四大机制

• • 心跳机制
  • 安全模式
  • 机架策略
  • 负载均衡

• 两大核心

• • 上传
  • 下载

HDFS 作为 Hadoop 生态系统的一个组成部分，在处理海量数据时发挥了重要作用

hdfs的主要功能包括分片存储、副本管理以及资源调度等核心组件；该系统作为一个容错性强的分布式存储方案

四大机制

当Hadoop集群启动时，各组件的运行流程是什么？nameNode:负责管理命名服务的数据目录及元数据存储；dataNode:负责存储实际应用的数据文件；secondary nameNode（如有）：提供nameNode功能冗余以确保系统的可靠性

心跳机制

集群节点之间必须做时间同步

namenode在集群中负责分配任务，在需要分配的情况下则必须等待所有从节点处于存活状态后才能开始工作。通过定期的心跳报告来了解各从节点的状态信息。每个从节点每3秒钟就会发送一次心跳报文.

namenode什么时候才会判定datanode死了

每3秒一次通信。
当 namenode 十次未接收到 datannode 的心跳报告时，则判断其可能已死亡。
此时 namennode 向 datannode 发送检查指令。
检查耗时在5分钟内完成。
namennod