《云盘算体系架构及应用》实行陈诉 | ||||
标题: | 认识常用的LINUX操作和hadoop部署相干操作 | 姓名 | | 日期 |
实行环境: 操作体系:Linux Hadoop版本:2.7.3 | ||||
实行内容与完成情况: (一)认识常用的Linux操作 请按要求上机实践如下linux基本下令。 cd下令:切换目次 (1)切换到目次 /usr/local (2)去到目前的上层目次 (3)回到自己的主文件夹(/home/zkpk) ls下令:检察文件与目次 (4)检察目次/usr下所有的文件 mkdir下令:新建新目次 (5)进入/tmp目次,创建一个名为a的目次,并检察有多少目次存在 (6)进入/tmp目次,创建目次a1/a2/a3/a4 rmdir下令:删除空的目次 (7)将上例创建的目次a(/tmp下面)删除 (8)删除目次a1/a2/a3/a4 cp下令:复制文件或目次 (9)将主文件夹下的.bashrc复制到/usr下,定名为bashrc1 (10)在/tmp下新建目次test,再复制这个目次内容到/usr mv下令:移动文件与目次,或更名 (11)将上例文件bashrc1移动到目次/usr/test (12)将上例test目次重定名为test2 rm下令:移除文件或目次 (13)将上例复制的bashrc1文件删除 (14)将上例的test2目次删除 cat下令:检察文件内容 (15)检察主文件夹下的.bashrc文件内容 (16)配置Java环境变量,在~/.bashrc中设置 (1)用文本编辑器打开用户目次下的.bashrc文件 (2)在.bashrc文件末尾加入: set JAVA_HOME=/usr/share/jdk1.5.0_05 export JAVA_HOME set PATH=$JAVA_HOME/binPATH export PATH set CLASSPATH=.JAVA_HOME/lib/dt.jarJAVA_HOME/lib/tools.jar export CLASSPATH (3)重新登录 (17)检察JAVA_HOME变量的值 (二)认识Hadoop部署时的相干操作 (1)请写出Hadoop部署时,大概会用到的配置文件,及所在路径。每个配置文件大概配置的属性有什么,及属性用途。 用到的配置文件:core-site.xml和hdfs-site.xml 路径:Hadoop 的配置文件位于 /home/zkpk/hadoop-2.7.3/etc/hadoop/ 中 配置属性:name 和 value hadoop.tmp.dir 持久化配置防止断电时丢失 fs.defaultFS 修改端标语 dfs.replication 设置备份系数 dfs.namenode.name.dir作用是存放hadoop的名称节点namenode里的metadata dfs.datanode.data.dir 是存放HDFS文件体系数据文件的目次,作用是存放hadoop的数据节点datanode里的多个数据块 (2)Hadoop部署为伪分布式模式后,若想改为单机模式,怎样设置。 删除 core-site.xml 中的配置项 (3)Hadoop部署为伪分布式模式,没有配置yarn,是否会堕落,若不堕落,部署成功后,怎样启动。 伪分布式不启动YARN也可以,一样平常不会影响步伐执行Ok qidong hdfs 1.格式化:hdfs namenode -format 2.启动hadoop Start-dfs.sh Start-yarn.sh (4)Hadoop部署为伪分布式模式后,在此基础上,怎样设置,就为分布式模式。 修改从节点文件 slaves 修改/home/zkpk/hadoop-2.7.3/etc/hadoop/中的5个配置文件, 1.slaves 将文件中原来的 localhost 删除,只添加一行内容:Slave1 2.core-site.xml
3.hdfs-site.xml Dfs.replication 设为1(一样平常是3) 4.mapred-site.xml
5.yarn-site.xml
(5)在本机Hadoop实行环境下,修改主节点和从节点名称,主节点名称为你的姓(拼音),从节点的名称为你的名(拼音),主机名修改后,还要修改哪些设置内容,本机Hadoop实行环境才会正常运行。 1.以root身份修改/etc/hostname 的名字 2.重启 3.修改映射 vi/etc/hosts 4.修改配置文件 5.重启 6.启动hadoop Start-dfs.sh Start-yarn.sh 7.修改从节点配置文件 | ||||
出现的问题:1.修改文件内容时没有权限,对于普通用户只是可读文件,要以root身份进入后修改文件 2.修改后要重启 3.配置文件不光要修改主节点的配置文件,还要修改从节点的配置文件 | ||||
解决方案(列出碰到的问题息争决办法,列出没有解决的问题):
|
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) | Powered by Discuz! X3.4 |