文章目录
- Linux中Hadoop常用命令
- 一、引言
- 二、文件系统操作命令
- 1、目录与文件操作
- 2.1、创建和删除目录
- 2.2、查看目录内容
- 2.3、文件上传与下载
- 2.4、查看文件内容
- 2、文件属性管理
- 2.1、修改文件权限
- 2.2、修改文件所有者
- 三、系统管理命令
- 1、查看集群状态
- 2、启动与停止服务
- 3.1、启动Hadoop集群
- 3.2、停止Hadoop集群
- 3、格式化和升级
- 3.1、格式化文件系统
- 3.2、升级集群
- 四、MapReduce作业管理
- 1、提交和运行作业
- 2、杀死作业
- 五、HDFS文件一致性检查
- 六、总结
Linux中Hadoop常用命令
一、引言
Hadoop作为一个强大的分布式系统基础架构，广泛应用于大数据处理。掌握其常用命令对于开发和运维人员来说至关重要。本文将详细介绍在Linux环境下Hadoop的常用命令，帮助用户高效管理Hadoop集群。
二、文件系统操作命令
1、目录与文件操作
2.1、创建和删除目录
- 创建目录：
hdfs dfs -mkdir /path/to/directory - 删除目录：
hdfs dfs -rm -r /path/to/directory
2.2、查看目录内容
- 列出目录内容：
hdfs dfs -ls /path/to/directory - 递归列出目录内容：
hdfs dfs -ls -R /path/to/directory
2.3、文件上传与下载
- 上传文件：
hdfs dfs -put localfile /path/to/hdfs - 下载文件：
hdfs dfs -get /path/to/hdfs localfile
2.4、查看文件内容
- 查看文本文件内容：
hdfs dfs -cat /path/to/file - 查看文件最后1000字节：
hdfs dfs -tail /path/to/file
2、文件属性管理
2.1、修改文件权限
- 修改文件权限：
hdfs dfs -chmod 755 /path/to/file
2.2、修改文件所有者
- 修改文件所有者：
hdfs dfs -chown user:group /path/to/file
三、系统管理命令
1、查看集群状态
- 查看Hadoop版本：
hdfs version - 查看NameNode状态：
jps（查看Java进程，确认NameNode是否运行）
2、启动与停止服务
3.1、启动Hadoop集群
- 启动所有服务：
start-all.sh - 启动NameNode和DataNode：
start-dfs.sh - 启动ResourceManager和NodeManager：
start-yarn.sh
3.2、停止Hadoop集群
- 停止所有服务：
stop-all.sh - 停止NameNode和DataNode：
stop-dfs.sh - 停止ResourceManager和NodeManager：
stop-yarn.sh
3、格式化和升级
3.1、格式化文件系统
- 格式化NameNode：
hdfs namenode -format
3.2、升级集群
- 升级前的准备：
hdfs namenode -upgrade - 回滚升级：
hdfs namenode -rollback - 完成升级：
hdfs namenode -finalize
四、MapReduce作业管理
1、提交和运行作业
- 提交作业：
hadoop jar job.jar - 查看作业状态：
hadoop job -status job_id
2、杀死作业
- 杀死作业：
hadoop job -kill job_id
五、HDFS文件一致性检查
- 检查文件系统一致性：
hdfs fsck /path/to/directory
六、总结
掌握Hadoop的常用命令是进行大数据处理的基础。通过本文的介绍，用户应能够熟悉并运用这些命令进行日常的Hadoop集群管理与维护。
版权声明：本博客内容为原创，转载请保留原文链接及作者信息。
参考文章：
- Hadoop命令大全(完整)
- Hadoop常用命令