51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 2804|回复: 0
打印 上一主题 下一主题

[转贴] Hadoop 命令整理

[复制链接]
  • TA的每日心情
    无聊
    昨天 09:06
  • 签到天数: 530 天

    连续签到: 2 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2018-12-27 16:01:58 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1.appendToFile

    将【单个文件】或【多个文件】从本地文件系统追加到hdfs目标文件。

    用法:hadoop fs -appendToFile <localsrc> ... <dst>

    例子:hadoop fs -appendToFile log.txt  word.txt hdfs://Hadoop1:9000/hd-test.txt


    2.cat

    将指定【hdfs文件】内容输出到控制台。

    用法: hadoop fs -cat [-ignoreCrc] URI [URI ...]

    例子:hadoop fs -cat hdfs://Hadoop1:9000/hd-test.txt


    3.checksum

    返回【文件】的校验和信息。

    用法:hadoop fs -checksum URI

    例子:hadoop fs -checksum file:///etc/hosts    检验本地文件

             hadoop fs -checksum hdfs://Hadoop1:9000/hd-test.txt    检验hdfs文件


    4.chgrp

    更改hdfs【hdfs文件】的组关联。用户必须是文件的所有者,否则是超级用户。

    用法:hadoop fs -chgrp [-R] GROUP URI [URI ...]

    -R选项将通过目录结构递归地进行更改

    例子:hadoop fs -chgrp hadoop hdfs://Hadoop1:9000/hd-test.txt


    5.chmod

    更改文件的权限。使用-R,递归地通过目录结构进行更改。用户必须是文件的所有者,否则是超级用户。

    用法: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

    例子:hadoop fs -chmod 777 hdfs://Hadoop1:9000/hd-test.txt


    6.chown

    更改文件的所有者。用户必须是超级用户。

    用法:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

    例子:hadoop fs -chown hadoop hdfs://Hadoop1:9000/hd-test.txt


    7.copyFromLocal

    与fs -put命令类似,-put把本地或者HDFS上的文件拷贝到HDFS中,copyFromLocal源限制为本地文件。

    用法:hadoop fs -copyFromLocal <localsrc> URI

    参数:

    • -p:保留访问和修改时间,所有权和权限。(假设权限可以跨文件系统传播)
    • -f:覆盖目标,如果它已经存在。
    • -l:允许DataNode延迟地将文件保存到磁盘,强制复制因子为1.此标志将导致减少的持久性。
    • -d:跳过创建后缀为._COPYING_的临时文件。

    例子:hadoop fs -copyFromLocal word.txt  hdfs://Hadoop1:9000/word.txt


    8.copyToLocal

    与get命令类似,只是目标被限制为本地文件。

    用法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

    例子:hadoop fs -copyToLocal  hdfs://Hadoop1:9000/word.txt word3.txt


    9.count

    统计与指定文件模式匹配的路径下的目录,文件和字节数。带有-count的输出列是:DIR_COUNT,FILE_COUNT,CONTENT_SIZE,PATHNAME。

    参数:

    • -q的输出列为:QUOTA,REMAINING_QUATA,SPACE_QUOTA,REMAINING_SPACE_QUOTA,DIR_COUNT,FILE_COUNT,CONTENT_SIZE,PATHNAME
    • -h选项以可读格式显示大小。
    • -v选项显示标题行。

    用法:hadoop fs -count [-q] [-h] [-v] <paths>

    例子:hadoop fs -count -v  hdfs://Hadoop1:9000/word.txt


    10.cp

    将文件从源文件复制到目的地。这个命令允许多个源,在这种情况下,目标必须是一个目录。
    如果(1)源和目标文件系统支持它们(仅限于HDFS),(2)所有源和目标路径名都在/.reserved/raw层次结构中,则保留'raw。*'命名空间扩展属性。确定raw。* namespace xattrs是否保存与-p(preserve)标志无关。
    选项:

    • -f如果它已经存在,选项将覆盖目标。
    • -p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果-p指定为不带arg,则保留时间戳,所有权和权限。如果指定了-pa,则还会保留权限,因为ACL是超级权限。确定是否保留原始名称空间扩展属性与-p标志无关。

    用法:hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>


    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-22 19:01 , Processed in 0.063871 second(s), 23 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表