ToB企服应用市场:ToB评测及商务社交产业平台

标题: 使用命令操作HDFS文件系统 [打印本页]
作者: 科技颠覆者    时间: 2023-11-16 03:57
标题: 使用命令操作HDFS文件系统
HDFS文件系统基本信息

HDFS作为分布式存储的文件系统，有其对数据的路径表达方式。
HDFS同Linux系统一样，均是以/作为根目录的组织形式
命令行

  1. # 老版本用法
  2. hadoop fs [generic options]
复制代码
  1. # 新版本用法
  2. hdfs dfs [generic options]
复制代码
创建文件夹
  1. hadoop fs -mkdir [-p] <path>
  2. hdfs dfs -mkdir [-p] <path>
  4. path 为待创建的目录
  5. -p选项的行为与Linux mkdir -p一致，它会沿着路径创建父目录。
复制代码
查看指定目录下内容
  1. hadoop fs -ls [-h] [-R] [<path> ...]
  2. hdfs dfs -ls [-h] [-R] [<path> ...]
  4. path 指定目录路径
  5. -h 人性化显示文件size
  6. -R 递归查看指定目录及其子目录
复制代码
上传文件到HDFS指定目录下
  1. hadoop fs -put [-f] [-p] <localsrc> ... <dst>
  2. hdfs dfs -put [-f] [-p] <localsrc> ... <dst>
  4. -f 覆盖目标文件（已存在下）
  5. -p 保留访问和修改时间，所有权和权限。
  6. localsrc 本地文件系统（客户端所在机器）
  7. dst 目标文件系统（HDFS）
复制代码
查看HDFS文件内容
  1. hadoop fs -cat <src> ...
  2. hdfs dfs -cat <src> ...
  4. 读取指定文件全部内容，显示在标准输出控制台。
  5. 读取大文件可以使用管道符配合more
  6. hadoop fs -cat <src> | more
  7. hdfs dfs -cat <src> | more
复制代码
下载HDFS文件
  1. hadoop fs -get [-f] [-p] <src> ... <localdst>
  2. hdfs dfs -get [-f] [-p] <src> ... <localdst>
  4. 下载文件到本地文件系统指定目录，localdst必须是目录
  5. -f 覆盖目标文件（已存在下）
  6. -p 保留访问和修改时间，所有权和权限。
复制代码
拷贝HDFS文件
  1. hadoop fs -cp [-f] <src> ... <dst>
  2. hdfs dfs -cp [-f] <src> ... <dst>
  4. -f 如果存在则force覆盖目标文件
复制代码
HDFS数据移动操作
  1. hadoop fs -mv <src> ... <dst>
  2. hdfs dfs -mv <src> ... <dst>
  4. 移动文件到指定文件夹下
  5. 可以使用该命令移动数据，重命名文件的名称
复制代码
HDFS数据操作(追加和删除)

追加数据到HDFS文件中
  1. hadoop fs -appendToFile <localsrc> ... <dst>
  2. hdfs dfs -appendToFile <localsrc> ... <dst>
  4. 将所有给定本地文件的内容追加到给定dst文件。
  5. dst如果文件不存在，将创建该文件。
  6. 如果<localSrc>为-，则输入为从标准输入中读取。
复制代码
HDFS数据删除操作
  1. hadoop fs -rm -r [-skipTrash] URI [URI ...]
  2. hdfs dfs -rm -r [-skipTrash] URI [URI ...]
  4. 删除指定路径的文件或文件夹
  5. -skipTrash 跳过回收站，直接删除
复制代码
开启回收站功能
  1. 回收站功能默认关闭，如果要开启需要在core-site.xml内配置：
  2. <property>
  3. <name>fs.trash.interval</name>
  4. <value>1440</value>
  5. </property>
  7. <property>
  8. <name>fs.trash.checkpoint.interval</name>
  9. <value>120</value>
  10. </property>
  12. # fs.trash.interval 保留分钟数, 1440就是一天
  13. # fs.trash.checkpoint.interval 多久扫描一次
  14. 无需重启集群，在哪个机器配置的，在哪个机器执行命令就生效。
  15. 回收站默认位置在：/user/用户名(hadoop)/.Trash
复制代码
HDFS WEB浏览

http://node1:9870/explorer.html#/

HDFS shell其它命令

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4