Hadoop3：HDFS的Shell操作（常用命令汇总）

一、简介

什么是HDFS的Shell操作？
很简单，就是在Linux的终端，通过命令来操作HDFS。
如果，你们学习过git、docker、k8s，应该会发现，这些命令的特点和shell命令非常相似
二、常用命令

1、预备工作相干命令

启动集群

1. sbin/start-dfs.sh
2. sbin/start-yarn.sh

复制代码

查看命令帮助

1. hadoop fs -help rm

复制代码

创建/sanguo文件夹

1. hadoop fs -mkdir /sanguo

复制代码

2、上传

1、-moveFromLocal：从当地剪切粘贴到HDFS

1. hadoop fs -moveFromLocal ./shuguo.txt /sanguo

复制代码

2、-copyFromLocal：从当地拷贝文件到HDFS指定路径中

1. hadoop fs -copyFromLocal ./weiguo.txt /sanguo

复制代码

3、-put：等同于 copyFromLocal，生产环境更风俗用 put

1. hadoop fs -put ./wuguo.txt /sanguo

复制代码

4、-appendToFile：追加一个文件中的内容到HDFS中已经存在的文件末尾

1. hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

复制代码

注意
此命令可能遇到的错误

解决办法
在hdfs-site.xml文件中添加如下设置，重启Hadoop集群即可

1.   <property>
2.        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
3.        <value>NEVER</value>
4.   </property>

复制代码

参考：Hadoop的append命令报错的解决办法
3、下载

1、-copyToLocal：从HDFS拷贝到当地

1. hadoop fs -copyToLocal /sanguo/shuguo.txt ./

复制代码

2、-get：等同于 copyToLocal，生产环境更风俗用 get

1. hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

复制代码

4、文件的常用操作

1、-ls: 显示目录信息

1. hadoop fs -ls /sanguo

复制代码

2、-cat：显示文件内容

1. hadoop fs -cat /sanguo/shuguo.txt

复制代码

3、-chgrp、 -chmod、 -chown ：同Linux文件体系中的用法一样，修改文件所属权限

1. hadoop fs -chmod 777 /sanguo/shuguo.txt

复制代码

4、-mkdir：创建路径

1. hadoop fs -mkdir /jinguo

复制代码

5、-cp：从HDFS的一个路径拷贝到HDFS的另一个路径

1. hadoop fs -cp /sanguo/shuguo.txt /jinguo

复制代码

6、-mv：在HDFS目录中移动(剪切)文件

1. hadoop fs -mv /sanguo/weiguo.txt /jinguo

复制代码

7、-tail：显示一个文件的末尾1kb的数据

1. hadoop fs -tail /jinguo/shuguo.txt

复制代码

8、-rm：删除文件或文件夹

1. hadoop fs -rm /sanguo/shuguo.txt

复制代码

9、-rm -r 递归删除目录及目录内里的文件

1. hadoop fs -rm -r /sanguo

复制代码

10、-du统计文件夹的巨细信息

1. hadoop fs -du -s -h /jinguo
2. hadoop fs -du -h /jinguo

复制代码

说明： 27表现一个节点上文件巨细；81表现27*3个副本的总巨细；/jinguo表现查看的目录
11、-setrep：设置HDFS中文件的副本数量

1. hadoop fs -setrep 10 /jinguo/shuguo.txt

复制代码

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有 3台 装备，最多也就 3个 副本，只有节点数的增长到10台时副本数才能到达10个，固然，节点数凌驾10个，副本数也只能是10个。
三、补充

1. hadoop fs xxxx

复制代码

等价与

1. hdfs dfs xxxx

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。