Hadoop CDH4.5 hadoop集群命令介绍

测试积点老人 · 发表于 2019-1-10 14:27:17

CDH4中hadoop命令的介绍，可以通过hadoop -h来查看CDH4的hadoop命令支持哪些子命令

hadoop -h

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
fs 运行一个常规的文件系统客户端
version 打印当前hadoop版本
jar <jar> 运行一个jar包
checknative [-a|-h] 检查hadoop和本地压缩库的可用性
distcp <srcurl> <desturl> 递归的拷贝文件或者目录
archive -archiveName NAME -p <parent path> <src>* <dest> 创建一个hadoop档案文件，Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。
classpath 打印hadoop的jar包和它需要的库的class path
daemonlog 设置或者获取每个守护进程的log级别
CLASSNAME 运行名字为CLASSNAME的类

复制代码

2 hadoop fs

hadoop fs [generic options]
-cat [-ignoreCrc] <src> ...: 显示出匹配的文件的内容到标准输出
-chgrp [-R] GROUP PATH...: 等同于 -chown ... :GROUP 改变文件的属组，-R递归修改
-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...: 修改文件的权限，-R递归修改
-chown [-R] [OWNER][:[GROUP]] PATH...: 修改文件的属主和属组，-R递归修改
-copyFromLocal <localsrc> ... <dst>: 等价于-put
-copyToLocal [-ignoreCrc] [-crc] <src> ... <localdst>: 等价于-get
-count [-q] <path> ...: 计算文件个数以及空间占用情况，输出表格的列含义依次为：DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME
如果加了-q，则输出表格含义如下：QUOTA REMAINING_QUATA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME
-cp <src> ... <dst>: 复制文件到目标位置，当复制多个文件时，目标必须是个目录
-df [-h] [<path> ...]: 显示系统空间的可用性，如果使用-h参数，则输出可读性更好
-du [-s] [-h] <path> ...: 列出匹配的文件系统的空间总量，-h参数使输出更为可读
-expunge: 清空回收站
-get [-ignoreCrc] [-crc] <src> ... <localdst>: 从DFS复制文件到本地，如果使复制多个文件，则目标地址为目录
-getmerge [-nl] <src> <localdst>: 从DFS复制多个文件到本地，不过在复制到本地的时候，会把多个文件进行排序合并成一个文件落到本地，-nl参数在每一行末尾加换行符
-ls [-d] [-h] [-R] [<path> ...]: 列出指定目录下的内容，等同于ls命令，如果不指定匹配模式，则默认显示/user/<current User>下的内容，输出目录格式如下：dirName (full path) <dir>
输出文件的格式如下： fileName(full path) <r n> size 其中n代表文件在DFS中复制的份数。支持-d、-h、-R等参数。
-mkdir [-p] <path> ...: 创建一个目录，支持-p参数。
-moveFromLocal <localsrc> ... <dst>: 等同于-put，只不过源文件在拷贝后会被删除。
-moveToLocal <src> <localdst>: 该功能目前尚未实现
-mv <src> ... <dst>: 将指定的文件移动到指定的位置，如果使多个文件，则目标必须是目录
-put <localsrc> ... <dst>: 从本地文件系统复制文件到DFS
-rm [-f] [-r|-R] [-skipTrash] <src> ...: 删除指定的文件，等同与rm命令。支持-f、-r等参数
-rmdir [--ignore-fail-on-non-empty] <dir> ...: 删除一个目录
-setrep [-R] [-w] <rep> <path/file> ...: 设置文件的备份复制的级别，-R参数设置是否递归子目录及文件
-stat [format] <path> ...: 打印出目录或者文件的状态格式，format接受如下参数：filesize in blocks (%b), group name of owner(%g),filename (%n), block size (%o), replication (%r), user name of owner(%u), modification date (%y, %Y)
-tail [-f] <file>: 显示文件的最后1KB内容，支持-f参数
-test -[ezd] <path>: 测试文件是否存在，存在返回0，如果使目录返回0，不是返回1
-text [-ignoreCrc] <src> ...: 创建一个源文件，并且使这个文件处于text模式？
-touchz <path> ...: 创建一个长度为0的文件，如果文件存在返回非0

复制代码

3 hadoop distcp

hadoop distcp [OPTIONS] <srcurl>* <desturl>
OPTIONS:
-p[rbugp] -p不跟任何参数就等同于 -prbugp
r: 复制的份数
b: 块大小
u: 用户
g: 用户组
p: 权限
-i 忽略失败
-log <logdir> 日志写到哪里
-m <num_maps> 最大启动几个map处理复制任务
-overwrite 覆盖目标地址已有的文件
-update 如果源文件的大小和目标文件不一致，则进行覆盖
-skipcrccheck 不使用CRC校验
-f <urilist_uri> 使用一个URL列表，作为源地址列表
-filelimit <n> 限制传输文件数的大小
-sizelimit <n> 限制传输文件量的大小
-delete 删除已经存在的目标文件，但是不会删除源文件
-mapredSslConf <f> Filename of SSL configuration for mapper task

复制代码

4 hadoop archive

hadoop archive -archiveName NAME -p <parent path> <src>* <dest>
-archiveName 要创建的档案文件的名称
src 文件系统的路径名
dest 保存档案文件的目录
-p 父目录？是干啥的？

复制代码

5 hadoop daemonlog

hadoop [-getlevel <host:httpPort> <name>] 获取每个守护进程的日志级别
-getlevel <host:httpPort> <name> 打印运行在 <host:httpPort>守护进程的日志级别，这个命令会链接http://<host:port>/logLevel?log=<name>
[-setlevel <host:httpPort> <name> <level>] 设置每个守护进程的日志级别

复制代码

6 hadoop checknative

hadoop NativeLibraryChecker [-a|-h]
-a 使用-a检查所有hadooplib库的可用性
-h 打印信息

复制代码

		自动登录	找回密码
密码			(注-册)加入51Testing

[原创] Hadoop CDH4.5 hadoop集群命令介绍

站长推荐 /1