ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hadoop3：HDFS的Shell操作（常用命令汇总） [打印本页]
作者: 怀念夏天    时间: 2024-10-22 10:54
标题: Hadoop3：HDFS的Shell操作（常用命令汇总）
一、简介

什么是HDFS的Shell操作？
很简单，就是在Linux的终端，通过命令来操作HDFS。
如果，你们学习过git、docker、k8s，应该会发现，这些命令的特点和shell命令非常相似
二、常用命令

1、预备工作相干命令

启动集群
  1. sbin/start-dfs.sh
  2. sbin/start-yarn.sh
复制代码
查看命令帮助
  1. hadoop fs -help rm
复制代码
创建/sanguo文件夹
  1. hadoop fs -mkdir /sanguo
复制代码
2、上传

1、-moveFromLocal：从当地剪切粘贴到HDFS
  1. hadoop fs -moveFromLocal ./shuguo.txt /sanguo
复制代码

2、-copyFromLocal：从当地拷贝文件到HDFS指定路径中
  1. hadoop fs -copyFromLocal ./weiguo.txt /sanguo
复制代码

3、-put：等同于 copyFromLocal，生产环境更风俗用 put
  1. hadoop fs -put ./wuguo.txt /sanguo
复制代码

4、-appendToFile：追加一个文件中的内容到HDFS中已经存在的文件末尾
  1. hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
复制代码

注意
此命令可能遇到的错误

解决办法
在hdfs-site.xml文件中添加如下设置，重启Hadoop集群即可
  1.   <property>
  2.        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
  3.        <value>NEVER</value>
  4.   </property>
复制代码
参考：Hadoop的append命令报错的解决办法
3、下载

1、-copyToLocal：从HDFS拷贝到当地
  1. hadoop fs -copyToLocal /sanguo/shuguo.txt ./
复制代码

2、-get：等同于 copyToLocal，生产环境更风俗用 get
  1. hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
复制代码

4、文件的常用操作

1、-ls: 显示目录信息
  1. hadoop fs -ls /sanguo
复制代码

2、-cat：显示文件内容
  1. hadoop fs -cat /sanguo/shuguo.txt
复制代码

3、-chgrp、 -chmod、 -chown ：同Linux文件体系中的用法一样，修改文件所属权限
  1. hadoop fs -chmod 777 /sanguo/shuguo.txt
复制代码

4、-mkdir：创建路径
  1. hadoop fs -mkdir /jinguo
复制代码

5、-cp：从HDFS的一个路径拷贝到HDFS的另一个路径
  1. hadoop fs -cp /sanguo/shuguo.txt /jinguo
复制代码

6、-mv：在HDFS目录中移动(剪切)文件
  1. hadoop fs -mv /sanguo/weiguo.txt /jinguo
复制代码

7、-tail：显示一个文件的末尾1kb的数据
  1. hadoop fs -tail /jinguo/shuguo.txt
复制代码

8、-rm：删除文件或文件夹
  1. hadoop fs -rm /sanguo/shuguo.txt
复制代码

9、-rm -r 递归删除目录及目录内里的文件
  1. hadoop fs -rm -r /sanguo
复制代码

10、-du统计文件夹的巨细信息
  1. hadoop fs -du -s -h /jinguo
  2. hadoop fs -du -h /jinguo
复制代码

说明： 27表现一个节点上文件巨细；81表现27*3个副本的总巨细；/jinguo表现查看的目录
11、-setrep：设置HDFS中文件的副本数量
  1. hadoop fs -setrep 10 /jinguo/shuguo.txt
复制代码

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有 3台 装备，最多也就 3个 副本，只有节点数的增长到10台时副本数才能到达10个，固然，节点数凌驾10个，副本数也只能是10个。
三、补充

  1. hadoop fs xxxx
复制代码
等价与
  1. hdfs dfs xxxx
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4