Advertisement

笔记 Hadoop 管理与应用开发 HDFS 文件管理

阅读量:

1.按以下要求配置集群

将文件副本数量设定为3份,并确保DataNode每2秒向NameNode发送心跳报文;NameNode则定期每10秒检查DataNode的状态;系统会自动在每3分钟清理多余副本;同时,在每个工作日午休时间(即每天上午9:55至10:45),会将fsimage与edits进行归档;最后,在每次午休后立即验证是否符合归档条件

  1. #zkServer.sh 在hadoop集群上运行三个节点(hadoop01~03)
  2. #start-dfs.sh 启动DFS管理服务脚本在指定的节点(hadoop01)上运行
  3. #start-yarn.sh 启动两个节点(hadoop01,.hadoop02)上的工作量调度服务
  4. #mr-jobhistory-daemon.sh 在hadoop-2.6.4集群中的历史服务器上运行mr脚本
  5. 使用vi编辑指定位置的应用目录中的配置文件

请补充以下内容:用于创建三个副本文件;DataNode每2秒向NameNode发送心跳报文;NameNode每10秒检查一次DataNode状态。

dfs.replication 3 dfs.namenode.heart

全部评论 (0)

还没有任何评论哟~