Hadoop 命令整理
1.appendToFile将【单个文件】或【多个文件】从本地文件系统追加到hdfs目标文件。用法：hadoop fs -appendToFile <localsrc> ... <dst>例子：hadoop fs -appendToFile log.txtword.txt hdfs://Hadoop1:9000/hd-test.txt2.cat将指定【hdfs文件】内容输出到控制台。用法： hadoop fs -cat [-ignoreCrc] URI 例子：hadoop fs -cat hdfs://Hadoop1:9000/hd-test.txt
3.checksum返回【文件】的校验和信息。用法：hadoop fs -checksum URI例子：hadoop fs -checksum file:///etc/hosts 检验本地文件 hadoop fs -checksum hdfs://Hadoop1:9000/hd-test.txt 检验hdfs文件
4.chgrp更改hdfs【hdfs文件】的组关联。用户必须是文件的所有者，否则是超级用户。用法：hadoop fs -chgrp [-R] GROUP URI -R选项将通过目录结构递归地进行更改例子：hadoop fs -chgrp hadoop hdfs://Hadoop1:9000/hd-test.txt
5.chmod更改文件的权限。使用-R，递归地通过目录结构进行更改。用户必须是文件的所有者，否则是超级用户。用法： hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI 例子：hadoop fs -chmod 777 hdfs://Hadoop1:9000/hd-test.txt
6.chown更改文件的所有者。用户必须是超级用户。用法：hadoop fs -chown [-R] [:] URI 例子：hadoop fs -chown hadoop hdfs://Hadoop1:9000/hd-test.txt
7.copyFromLocal与fs -put命令类似，-put把本地或者HDFS上的文件拷贝到HDFS中，copyFromLocal源限制为本地文件。用法：hadoop fs -copyFromLocal <localsrc> URI参数：
[*]-p：保留访问和修改时间，所有权和权限。（假设权限可以跨文件系统传播）
[*]-f：覆盖目标，如果它已经存在。
[*]-l：允许DataNode延迟地将文件保存到磁盘，强制复制因子为1.此标志将导致减少的持久性。
[*]-d：跳过创建后缀为._COPYING_的临时文件。
例子：hadoop fs -copyFromLocal word.txthdfs://Hadoop1:9000/word.txt
8.copyToLocal与get命令类似，只是目标被限制为本地文件。用法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>例子：hadoop fs -copyToLocalhdfs://Hadoop1:9000/word.txt word3.txt
9.count统计与指定文件模式匹配的路径下的目录，文件和字节数。带有-count的输出列是：DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME。参数：
[*]-q的输出列为：QUOTA，REMAINING_QUATA，SPACE_QUOTA，REMAINING_SPACE_QUOTA，DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME
[*]-h选项以可读格式显示大小。
[*]-v选项显示标题行。
用法：hadoop fs -count [-q] [-h] [-v] <paths>例子：hadoop fs -count -vhdfs://Hadoop1:9000/word.txt
10.cp将文件从源文件复制到目的地。这个命令允许多个源，在这种情况下，目标必须是一个目录。
如果（1）源和目标文件系统支持它们（仅限于HDFS），（2）所有源和目标路径名都在/.reserved/raw层次结构中，则保留'raw。*'命名空间扩展属性。确定raw。* namespace xattrs是否保存与-p（preserve）标志无关。
选项：
[*]-f如果它已经存在，选项将覆盖目标。
[*]-p选项将保留文件属性（时间戳，所有权，权限，ACL，XAttr）。如果-p指定为不带arg，则保留时间戳，所有权和权限。如果指定了-pa，则还会保留权限，因为ACL是超级权限。确定是否保留原始名称空间扩展属性与-p标志无关。
用法：hadoop fs -cp [-f] [-p | -p] URI <dest>
页:
[1]
