1、创建文件夹
·hadoop fs -mkdir [-p] <path>...
path 为待创建导入目录
-p 选项的行为与Unix mkdir -p 非常相似,它会沿着路径创建父目录
2、查看指定目录下的内容
·hadoop fs -ls [-h] [-R] [<path>...]
path指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录
3、上传文件到HDFS指定目录下
·hadoop fs -put [-f] [-p] <localsrc>...<dst>
-f 覆盖目标文件(已存在下)
-p 保存访问和修改时间,所有权和权限
localsrc 本地文件体系(客户端地点机器)
dst 目标文件体系(HDFS)
4、查看HDFSA文件内容
·hadoop fs -cat <src>...
读取指定文件全部内容,显示在标准输出控制台
注意:对于大文件内容读取,慎重
5、查看HDFSA文件内容
·hadoop fs -tail <src>...
6、下载HDFS文件
·hadoop fs -get [-f] [-p] <src>...<localdst>
下载文件到本地文件体系指定目录,localdst必须是目录
-f 覆盖目标文件(已存在下)
7、拷贝HDFS文件(在HDFS文件体系中)
·hadoop fs -cp [-f] <src>...<dst>
-f 覆盖目标文件(已存在下)
8、追加数据到HDFS文件中
·hadoop fs -appendToFile <localsrc>...<dst>
将所有给定本地文件的内容追加到给定dst文件
dst如果文件不存在,将创建该文件
如果<localSrc> 为空,则输入为标准输入中读取
9、HDDS数据移动操纵
·hadoop fs -mv <src>...<dst>
移动文件到指定文件夹下
可以使用该命令移动数据,重命名文件的名称
10、、主角色:namenode
·namenode是Hadoop分布式文件体系的核心,架构中的主角色
·namenode维护和管理文件体系元数据,包括名称空间目录树结构,文件和块的位置信息,访问权限等信息。
·基于此,namenode成为了访问HDFS的唯一入口。
·namenode内部通过内存和磁盘文件俩种方式管理元数据
·此中磁盘文件的元数据文件包括Fsimage内存元数据镜像文件和edits kog(Journal)编辑日志。
11、namenode职责
·NameNode仅储存HDFS的元数据:文件体系中所有文件的目录树,并跟踪整个集群中的文件,不存储实际数据
·NameNode知道HDFS中任何给定文件的块列表及其位置,使用此信息NameNode知道如何从块中构建文件。
·NameNode是Hadoop集群中的单点故障
·NameNode地点机器通常设置有大量内存(RAM)
12、从角色:datanode
·datanode是hadoop HDFS中的从角色,负责具体的数据块存储
·datanode的数目决定了HDFS集群的整体数据 存储本领,通过和namenode配合维护着数据块。
datanode职责:
·DataNode负责最终数据块block的存储,是集群的从角色,也称slave。
·DataNode启动时,会将自己注册到namenode并汇报自己负责持有的块列表
·当某个datanode关闭时,不会影响数据的可用性,namenode将安排由其他datanode管理的块进行副本复制。
·datanode地点机器通常设置有大量的硬盘空间,因为实际数据存储在datanode中。
13、主角色辅助角色:secondarynamenode
·Secondary Namenode充当Namenode的辅助节点,但不能代替Namenode
·主要是资助主角色进行元数据文件的合并动作,可以普通的明白为主角色的“秘书”
14、查看所有队列的列表
·yarn queue -status root
15、检查NameNode状态
·hdfs dfsadmin -report
16、执行作业
hadoop jar /export/server/share/hadoop/hadoop-mapreduce-examples-3.3.0.jar wordcount -Dmaroed.job.queue.name=root.root 指定队列
17、删除现有的输出目录
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |