ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hadoop-day03 hadoop基本命令 [打印本页]
作者: 立聪堂德州十三局店    时间: 2022-8-9 14:45
标题: Hadoop-day03 hadoop基本命令
一、Hadoop环境变量的配置

首先进入linux环境配置的文件
  1. vim /etc/profile
复制代码
这样就进入配置文件的界面

然后按下英文字母i就可以进入文件的编辑模式，后面输入环境变量的配置：
  1. HADOOP_HOME= （hadoop文件的根目录）
  2. PATH=.:$HADOOP/bin（Hadoop文件中的bin目录）
  3. 输入：HADOOP_HOME=/usr/local/soft/hadoop
  4. PATH=.:$HADOOP_HOME/bin
复制代码
之后先按下esc输入"：wq"完成文件的保存退出（如果不小心输入错误，或者误删里面的内容可以输入":q!"不保存退出）
最后输入命令
  1. source /etc/profile
复制代码
重新加载一下配置文件
这样环境变量的配置就完成了！！！
（以后其他软件的环境变量配置都与之类似）
Hadoop的启动

第一种 直接启动或者关闭所有的进程

hadoop的启动文件在bin目录下
启动命令：
  1. start-all.sh
复制代码
关闭命令：
  1. stop-all.sh
复制代码
第二种 分模块启动

启动和关闭 namenode，secondaryNamenode和datenode （启动hdfs）
命令分别为：
  1. start-dfs.sh      stop-dfs.sh
复制代码
启动yarn
命令分别为：
  1. start-yarn.sh     stop-yarn.sh
复制代码
第三种 各个节点单独启动

单独启动namenode守护进程
  1.   hadoop-daemons.sh start namenode
复制代码
单独启动DataNode守护进程
  1.    hadoop-daemons.sh start datanode
复制代码
单独启动SecondaryNameNode 守护进程
  1.    hadoop-daemons.sh start SecondaryNameNode
复制代码
开启resourcemanager
  1.    yarn-daemon.sh start resourcemanager
复制代码
开启nodemanager
  1.     yarn-daemons.sh start nodemanager
复制代码
启动historyserver
  1.     mr-historyserver-dameon.sh start /stop historyserver
复制代码
使用jps命令查看有关java的进程

其中成功后master节点：

node1,node2为：

浏览器查看hdfs是否可以使用
http://master:50070/ 或者
http://192.168.170.110：50070/

注意：如果出现使用主机名无法进入而使用IP可以进入，这是因为我们自己的电脑中没有配置主机名映射：无法识别主机名。
Hadoop 常用命令

  1. hdfs dfs -ls -R /
复制代码

2.在hadoop中指定路径在创建目录
  1. hdfs dfs -mkdir /shujia
复制代码
这样就在根目录下创建一个名为shujia的目录（其实就是文件夹）
  1. hdfs dfs -put [本地路径] [hadoop路径]
复制代码
  1. hdfs dfs -ls [指定hadoop路径]
复制代码
5.打开某个已存在文件
  1. hdfs dfs -cat [hadoop中文件路径]
复制代码
6.将hadoop上某个文件重命名
  1. hdfs dfs -mv [文件路径] [路径+文件新名]
复制代码
例： hdfs dfs -mv /shujia/bigdata17.txt /shujia/bigdata.txt
就是将/shujia目录下bigdata17.txt文件更名为 bigdata.txt
7.将hadoop上某个文件下载至本地已有目录下
  1. hdfs dfs -get [文件路径] [目标路径]
复制代码
8.删除hadoop上指定文件
  1. hdfs dfs -rm [文件路径]
复制代码
9.递归删除hadoop上指定目录及目录下所有文件夹和文件
  1. hdfs dfs -rm -r [目录地址]
复制代码
最后是hadoop其他命令一览(相对来说这些命令使用的频率只要少一些，但也很重要）：
  1. hdfs dfs  查看Hadoop HDFS支持的所有命令   
  2. hdfs dfs –ls  列出目录及文件信息   
  3. hdfs dfs –lsr  循环列出目录、子目录及文件信息      
  4. hdfs dfs –tail /user/sunlightcs/test.txt  查看最后1KB的内容   
  6. hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt  从本地文件系统复制文件到HDFS文件系统，等同于put命令   
  7. hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt  从HDFS文件系统复制文件到本地文件系统，等同于get命令   
  9. hdfs dfs –chgrp [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样   
  10. hdfs dfs –chown [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行   
  11. hdfs dfs –chmod [-R] MODE /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-{rwx}，选项-R递归执行
  13. hdfs dfs –count [-q] PATH  查看PATH目录下，子目录数、文件数、文件大小、文件名/目录名   
  14. hdfs dfs –cp SRC [SRC …] DST       将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录   
  15. hdfs dfs –du PATH  显示该目录中每个文件或目录的大小   
  16. hdfs dfs –dus PATH  类似于du，PATH为目录时，会显示该目录的总大小   
  18. hdfs dfs –expunge  清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除   
  20. hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl]   获取由SRC指定的所有文件，将它们合并为单个文件，并写入本地文件系统中的LOCALDST，选项addnl将在每个文件的末尾处加上一个换行符   
  22. hdfs dfs –test –[ezd] PATH     对PATH进行如下类型的检查：-e PATH是否存在，如果PATH存在，返回0，否则返回1；-z 文件是否为空，如果长度为0，返回0，否则返回1； -d 是否为目录，如果PATH为目录，返回0，否则返回1  
  24. hdfs dfs –text PATH  显示文件的内容，当文件为文本文件时，等同于cat；文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩   
  26. hdfs dfs –help ls  查看某个[ls]命令的帮助文档
复制代码
安全模式

NameNode在启动时会自动进入安全模式，安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。
系统显示Name node in safe mode，说明系统正处于安全模式，这时只需要等待几十秒即可，也可通过下面的命令退出安全模式：
  1. hadoop dfsadmin -safemode leave
复制代码
相反，进入安全模式的命令为：
  1. hadoop dfsadmin -safemode enter
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4