文章目录
- 前言
- 一、hdfs --daemon命令介绍
- 1. 语法及解释
- 二、hdfs --daemon命令使用
- 1. 启停namenode
- 1.1 启动namenode
- 1.2 查看namenode状态
- 1.3 停止namenode
- 2. 启停datanode
- 2.1 启动datanode
- 2.2 查看datanode状态
- 2.3 停止datanode
- 3. 启停secondarynamenode
- 3.1 启动secondarynamenode
- 3.2 查看secondarynamenode状态
- 3.3 停止secondarynamenode
- 4. 启停journalnode
- 4.1 启动journalnode
- 4.2 查看journalnode状态
- 4.3 停止journalnode
- 5. 启停zkfc
- 5.1 启动zkfc
- 5.2 查看zkfc状态
- 5.3 停止zkfc
- 6. 启停balancer
- 6.1 启动balancer
- 6.2 查看balancer状态
- 6.3 停止balancer
- 7. 启停dfsrouter
- 7.1 启动dfsrouter
- 7.2 查看dfsrouter状态
- 7.3 停止dfsrouter
- 8. 启停httpfs
- 8.1 启动httpfs
- 8.2 查看httpfs状态
- 8.3 停止httpfs
- 9. 启停mover
- 9.1 启动mover
- 9.2 查看mover状态
- 9.3 停止mover
- 10. 启停nfs3
- 10.1 启动nfs3
- 10.2 查看nfs3状态
- 10.3 停止nfs3
- 11. 启停portmap
- 11.1 启动portmap
- 11.2 查看portmap状态
- 11.3 停止portmap
- 12. 启停sps
- 12.1 启动sps
- 12.2 查看sps状态
- 12.3 停止sps
前言
在大数据时代,Hadoop分布式文件系统(HDFS)作为核心组件之一,承担着存储和管理海量数据的重任。为了确保HDFS的高可用性和稳定性,系统中运行着多个守护进程(daemons),每个守护进程负责特定的功能和任务。这些守护进程包括NameNode、DataNode、Secondary NameNode、JournalNode等,它们共同协作,维护HDFS的正常运行。本文将探讨HDFS中的hdfs --daemon命令,介绍如何启动、停止和管理这些守护进程。
一、hdfs --daemon命令介绍
hdfs --daemon
命令用于启动、停止或管理 Hadoop 分布式文件系统 (HDFS) 的守护进程(daemons)。这些守护进程是 HDFS 架构中的关键组件,负责管理和维护分布式文件系统的不同方面。主要的 HDFS 守护进程包括 NameNode、DataNode、Secondary NameNode、JournalNode 等。
1. 语法及解释
hdfs --daemon <action> <daemon>
-
<action>
:指定对守护进程执行的操作。常见的操作包括:start
:启动指定的守护进程。stop
:停止指定的守护进程。status
:检查指定守护进程的状态。
-
<daemon>
:指定要操作的守护进程名称。常见的守护进程包括:namenode
:运行 DFS NameNode,管理文件系统的命名空间和客户端请求。datanode
:运行一个 DFS DataNode,负责存储实际的数据块,并响应来自 NameNode 的指令。secondarynamenode
:运行 Secondary NameNode,辅助 NameNode 进行检查点操作(Checkpointing),合并 fsimage 和 edits 文件。journalnode
:运行 JournalNode,保存edits日志,在启用高可用性配置时使用。zkfc
:运行 Zookeeper 故障转移控制器,在 HA 配置中用于监控和管理 NameNode 的主备切换。balancer
:运行一个集群平衡工具,用于重新分配数据块以确保各个 DataNode 上的数据分布更加均匀。dfsrouter
:运行 DFS 路由器,通常用于联邦 HDFS 中,作为客户端请求的入口点。diskbalancer
:在给定节点上均衡磁盘之间的数据分布,优化 I/O 性能。httpfs
:运行 HttpFS 服务器,提供通过 HTTP 访问 HDFS 的网关。mover
:运行一个工具,用于将数据块副本从一种存储类型移动到另一种存储类型。nfs3
:运行 NFS 版本 3 网关,允许通过 NFS 协议访问 HDFS。portmap
:运行端口映射服务,通常与 NFS 网关一起使用。sps
:运行外部存储策略满足器(StoragePolicySatisfier),帮助实现存储策略。
二、hdfs --daemon命令使用
1. 启停namenode
1.1 启动namenode
hdfs --daemon start namenode
1.2 查看namenode状态
hdfs --daemon status namenode
1.3 停止namenode
hdfs --daemon stop namenode
2. 启停datanode
2.1 启动datanode
hdfs --daemon start datanode
2.2 查看datanode状态
hdfs --daemon status datanode
2.3 停止datanode
hdfs --daemon stop datanode
3. 启停secondarynamenode
3.1 启动secondarynamenode
hdfs --daemon start secondarynamenode
3.2 查看secondarynamenode状态
hdfs --daemon status secondarynamenode
3.3 停止secondarynamenode
hdfs --daemon stop secondarynamenode
4. 启停journalnode
4.1 启动journalnode
hdfs --daemon start journalnode
4.2 查看journalnode状态
hdfs --daemon status journalnode
4.3 停止journalnode
hdfs --daemon stop journalnode
5. 启停zkfc
5.1 启动zkfc
hdfs --daemon start zkfc
5.2 查看zkfc状态
hdfs --daemon status zkfc
5.3 停止zkfc
hdfs --daemon stop zkfc
6. 启停balancer
6.1 启动balancer
hdfs --daemon start balancer
6.2 查看balancer状态
hdfs --daemon status balancer
6.3 停止balancer
hdfs --daemon stop balancer
7. 启停dfsrouter
7.1 启动dfsrouter
hdfs --daemon start dfsrouter
7.2 查看dfsrouter状态
hdfs --daemon status dfsrouter
7.3 停止dfsrouter
hdfs --daemon stop dfsrouter
8. 启停httpfs
8.1 启动httpfs
hdfs --daemon start httpfs
8.2 查看httpfs状态
hdfs --daemon status httpfs
8.3 停止httpfs
hdfs --daemon stop httpfs
9. 启停mover
9.1 启动mover
hdfs --daemon start mover
9.2 查看mover状态
hdfs --daemon status mover
9.3 停止mover
hdfs --daemon stop mover
10. 启停nfs3
10.1 启动nfs3
hdfs --daemon start nfs3
10.2 查看nfs3状态
hdfs --daemon status nfs3
10.3 停止nfs3
hdfs --daemon stop nfs3
11. 启停portmap
11.1 启动portmap
hdfs --daemon start portmap
11.2 查看portmap状态
hdfs --daemon status portmap
11.3 停止portmap
hdfs --daemon stop portmap
12. 启停sps
12.1 启动sps
hdfs --daemon start sps
12.2 查看sps状态
hdfs --daemon status sps
12.3 停止sps
hdfs --daemon stop sps