先电大数据平台操作手册-iandian-bigdata-v2.1

5.2 HDFS运维管理

5.2.1 HDFS命令手册

1. 概述

切换到hdfs用户，可以通过“hadoop fs -”命令来查看HDFS文件系统的帮助命令，通过提示的命令来对文件系统进行管理。

命令如下： $ hadoop fs - 执行结果如下：

所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。

用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 --config confdir 描述 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf GENERIC_OPTIONS COMMAND 命令选项S 多个命令都支持的通用选项 各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管理命令两组。 2. 权限管理

在Hadoop集群中，只有hdfs用户才有对HDFS文件系统的管理权限，当其它用户对文件系统进行操作，需要给其赋予相应的权限，这里为了方便操作，将所有用户的读写执行权限全部放开，命令如下：

# su hdfs

$ hadoop fs -chmod -R 777 /

3. 常规选项

下面的选项被 dfsadmin, fs, fsck和 job支持。 应用程序要实现 Tool来支持常规选项。 GENERIC_OPTION -conf -D -fs 为指定property指定值value。 指定namenode。 描述 指定应用程序的配置文件。 -jt -files <逗号分隔的文件列表> -libjars <逗号分隔的jar列表> -archives <逗号分隔的archive列表> 4. 用户命令

指定job tracker。只适用于job。 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 hadoop集群用户的常用命令。

archive

创建一个hadoop档案文件。参考 Hadoop Archives.

用法：hadoop archive -archiveName NAME -p * 命令选项 -archiveName NAME -p src dest 父路径，格式与正则表达式一致。 父路径下面需要创建档案的文件名（可多个） 保存档案文件的目标目录。 描述 要创建的档案的名字。 distcp

递归地拷贝文件或目录。参考DistCp指南以获取等多信息。 用法：hadoop distcp

命令选项 srcurl desturl 描述 源Url 目的Url fs

用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS] 运行一个常规的文件系统客户端。

fsck

运行HDFS文件系统检查工具。参考Fsck了解更多。

用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 命令选项 -move -delete -openforwrite -files -blocks -locations -racks 描述 检查的起始目录。 移动受损文件到/lost+found 删除受损文件。 打印出写打开的文件。 打印出正被检查的文件。 打印出块信息报告。 打印出每个块的位置信息。 打印出data-node的网络拓扑结构。 jar

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar [mainClass] args...

job

用于和Map Reduce作业交互和命令。

用法：hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] | [-counter ] | [-kill ] | [-events <#-of-events>] | [-history [all] ] | [-list [all]] | [-kill-task ] | [-fail-task ] 命令选项 -submit -status -counter -kill -events <#-of-events> -history [all] -history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。 -list [all] -list all显示所有作业。-list只显示将要完成的作业。 -kill-task -fail-task 杀死任务。被杀死的任务不会不利于失败尝试。 使任务失败。被失败的任务会对失败尝试不利。 杀死指定作业。 打印给定范围内jobtracker接收到的事件细节。 描述 提交作业 打印map和reduce完成百分比和所有计数器。 打印计数器的值。 pipes