大数据学习Hadoop NameNode DataNode 原理

大数据

1、概念

大数据：指的是在特定时间范围内，常规软件工具难以完成捕捉、管理及处理的数据集合，这类数据需要借助新型处理模式，以增强决策能力、洞察发现能力以及流程优化能力。其特征包括数据量庞大、增长速度快以及形式多样化，属于一种信息资产。大数据的核心目标在于应对海量数据的采集、存储与分析计算等关键问题。

2、核心特征分析

海量、高速度、多元化以及低价值密度的数据特征（能够迅速提取其中具有价值的信息）

hadoop

1、核心概念界定

Hadoop作为一种分布式系统的基础架构，主要致力于应对大规模数据的存储需求以及对海量数据进行分析计算的挑战。

优势体现在以下几个方面：具备高度的可靠性（即使某一节点发生故障，也不会造成数据的丢失）、出色的扩展能力（支持节点数量的动态增减）、卓越的工作效率（通过并行处理方式提升运算速度）、强大的容错机制（可将出现故障的任务重新分配至其他节点执行）。

其组成部分包括：MapReduce（负责计算任务）、Yarn（实现资源调度管理）、HDFS（承担数据存储功能）、Common（提供辅助工具支持）

HDFS架构解析

1）、NameNode（nn）：主要负责存储文件的元数据信息，包括文件名称、目录结构、文件属性（如创建时间、副本数量、访问权限）等，同时记录每个文件所划分的数据块及其所在的Da