Hadoop--基础指令以及表示

篮之新喜  论坛元老 | 2025-3-28 03:57:27 | 来自手机 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 1865|帖子 1865|积分 5605

1、创建文件夹
  ·hadoop fs -mkdir [-p] <path>...
path 为待创建导入目录
-p 选项的行为与Unix mkdir -p 非常相似,它会沿着路径创建父目录

   2、查看指定目录下的内容
  ·hadoop fs -ls [-h] [-R] [<path>...]
path指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录
   3、上传文件到HDFS指定目录下
  ·hadoop fs -put [-f] [-p] <localsrc>...<dst>
-f 覆盖目标文件(已存在下)
-p 保存访问和修改时间,所有权和权限
localsrc 本地文件体系(客户端地点机器)
dst 目标文件体系(HDFS)

   4、查看HDFSA文件内容
  ·hadoop fs -cat <src>...
读取指定文件全部内容,显示在标准输出控制台
注意:对于大文件内容读取,慎重


   5、查看HDFSA文件内容
  ·hadoop fs -tail <src>...
读取指定文件全部内容,显示在标准输出控制台


   6、下载HDFS文件
  ·hadoop fs -get [-f] [-p] <src>...<localdst>
下载文件到本地文件体系指定目录,localdst必须是目录
-f 覆盖目标文件(已存在下)
-p 保存访问和修改时间,所有权和权限。


   7、拷贝HDFS文件(在HDFS文件体系中)
  ·hadoop fs -cp [-f] <src>...<dst>
-f 覆盖目标文件(已存在下)


   8、追加数据到HDFS文件中
  ·hadoop fs -appendToFile <localsrc>...<dst>
将所有给定本地文件的内容追加到给定dst文件
dst如果文件不存在,将创建该文件
如果<localSrc> 为空,则输入为标准输入中读取


   9、HDDS数据移动操纵
  ·hadoop fs -mv <src>...<dst>
移动文件到指定文件夹下
可以使用该命令移动数据,
重命名文件的名称

   10、、主角色:namenode
  ·namenode是Hadoop分布式文件体系的核心,架构中的主角色
·namenode维护和管理文件体系元数据,包括名称空间目录树结构,文件和块的位置信息,访问权限等信息。
·基于此,namenode成为了访问HDFS的唯一入口。
·namenode内部通过内存和磁盘文件俩种方式管理元数据
·此中磁盘文件的元数据文件包括Fsimage内存元数据镜像文件和edits kog(Journal)编辑日志。
   11、namenode职责
  ·NameNode仅储存HDFS的元数据:文件体系中所有文件的目录树,并跟踪整个集群中的文件,不存储实际数据
·NameNode知道HDFS中任何给定文件的块列表及其位置,使用此信息NameNode知道如何从块中构建文件。
·NameNode是Hadoop集群中的单点故障
·NameNode地点机器通常设置有大量内存(RAM)

   12、从角色:datanode
  ·datanode是hadoop HDFS中的从角色,负责具体的数据块存储
·datanode的数目决定了HDFS集群的整体数据 存储本领,通过和namenode配合维护着数据块。
datanode职责:
·DataNode负责最终数据块block的存储,是集群的从角色,也称slave。
·DataNode启动时,会将自己注册到namenode并汇报自己负责持有的块列表
·当某个datanode关闭时,不会影响数据的可用性,namenode将安排由其他datanode管理的块进行副本复制。
·datanode地点机器通常设置有大量的硬盘空间,因为实际数据存储在datanode中。

   13、主角色辅助角色:secondarynamenode
  ·Secondary Namenode充当Namenode的辅助节点,但不能代替Namenode
·主要是资助主角色进行元数据文件的合并动作,可以普通的明白为主角色的“秘书”

   14、查看所有队列的列表
  ·yarn queue -status root


   15、检查NameNode状态
  ·hdfs dfsadmin -report



   
16、执行作业

  
hadoop jar /export/server/share/hadoop/hadoop-mapreduce-examples-3.3.0.jar wordcount -Dmaroed.job.queue.name=root.root  指定队列



   
17、删除现有的输出目录

  
·hdfs dfs -rm -r /output


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

篮之新喜

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表