【大数据】：hdfs相关进程启停管理命令

HADOOP_HOME/sbin/start-dfs.sh，一键启动HDFS集群

执行原理：

在执行此脚本的机器上，启动SecondaryNameNode

读取core-site.xml内容（fs.defaultFS项），确认NameNode所在机器，启动NameNode

读取workers内容，确认DataNode所在机器，启动全部DataNode

$HADOOP_HOME/sbin/stop-dfs.sh，一键关闭HDFS集群

执行原理：

在执行此脚本的机器上，关闭SecondaryNameNode

读取core-site.xml内容（fs.defaultFS项），确认NameNode所在机器，关闭NameNode

读取workers内容，确认DataNode所在机器，关闭全部NameNode

单进程启停：

除了一键启停外，也可以单独控制进程的启停。

1. $HADOOP_HOME/sbin/hadoop-daemon.sh，此脚本可以单独控制所在机器的进程的启停

用法：

hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

2. $HADOOP_HOME/bin/hdfs，此程序也可以用以单独控制所在机器的进程的启停

用法：

hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

HDFS文件系统基本信息：
 

1、创建文件夹

hadoop fs -mkdir [-p] <path> ...
hdfs dfs -mkdir [-p] <path> ...

2、查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path> ...] 
hdfs dfs -ls [-h] [-R] [<path> ...] 

3、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc> ... <dst>
hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

4、查看HDFS文件内容

hadoop fs -cat <src> ... 
hdfs dfs -cat <src> ...

读取大文件可以使用管道符配合

more hadoop fs -cat <src> | more hdfs dfs -cat <src> | more

5、下载HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>
hdfs dfs -get [-f] [-p] <src> ... <localdst>

6、拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst> 
hdfs dfs -cp [-f] <src> ... <dst>

7、追加数据到HDFS文件中

hadoop fs -appendToFile <localsrc> ... <dst>
hdfs dfs -appendToFile <localsrc> ... <dst>

8、HDFS数据移动操作

hadoop fs -mv <src> ... <dst>
hdfs dfs -mv <src> ... <dst>	

移动文件到指定文件夹下         可以使用该命令移动数据，重命名文件的名称

9、HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]	

HDFS shell其它命令

1.命令官方指导文档

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html 提示

常见的操作自己最好能够记住，其他操作可以根据需要查询文档使用。

2.HDFS WEB浏览