| 《云盘算体系架构及应用》实行陈诉
|
| 标题：
| 认识常用的LINUX操作和hadoop部署相干操作
| 姓名
|
| 日期
|
实行环境： 操作体系：Linux
Hadoop版本：2.7.3
|
| 实行内容与完成情况：
（一）认识常用的Linux操作
请按要求上机实践如下linux基本下令。
cd下令：切换目次
（1）切换到目次 /usr/local
（2）去到目前的上层目次
（3）回到自己的主文件夹（/home/zkpk）
ls下令：检察文件与目次
（4）检察目次/usr下所有的文件
mkdir下令：新建新目次
（5）进入/tmp目次，创建一个名为a的目次,并检察有多少目次存在
（6）进入/tmp目次，创建目次a1/a2/a3/a4
rmdir下令：删除空的目次
（7）将上例创建的目次a（/tmp下面）删除
（8）删除目次a1/a2/a3/a4
cp下令：复制文件或目次
（9）将主文件夹下的.bashrc复制到/usr下，定名为bashrc1
（10）在/tmp下新建目次test，再复制这个目次内容到/usr
mv下令：移动文件与目次，或更名
（11）将上例文件bashrc1移动到目次/usr/test
（12）将上例test目次重定名为test2
rm下令：移除文件或目次
（13）将上例复制的bashrc1文件删除
（14）将上例的test2目次删除
cat下令：检察文件内容
（15）检察主文件夹下的.bashrc文件内容
（16）配置Java环境变量，在～/.bashrc中设置
(1)用文本编辑器打开用户目次下的.bashrc文件
(2)在.bashrc文件末尾加入：
set JAVA_HOME=/usr/share/jdk1.5.0_05
export JAVA_HOME
set PATH=$JAVA_HOME/bin PATH
export PATH
set CLASSPATH=.JAVA_HOME/lib/dt.jarJAVA_HOME/lib/tools.jar
export CLASSPATH
(3)重新登录
（17）检察JAVA_HOME变量的值
（二）认识Hadoop部署时的相干操作
（1）请写出Hadoop部署时，大概会用到的配置文件，及所在路径。每个配置文件大概配置的属性有什么，及属性用途。
用到的配置文件：core-site.xml和hdfs-site.xml
路径：Hadoop 的配置文件位于 /home/zkpk/hadoop-2.7.3/etc/hadoop/ 中
配置属性：name 和 value
hadoop.tmp.dir 持久化配置防止断电时丢失
fs.defaultFS 修改端标语
dfs.replication 设置备份系数
dfs.namenode.name.dir作用是存放hadoop的名称节点namenode里的metadata
dfs.datanode.data.dir 是存放HDFS文件体系数据文件的目次，作用是存放hadoop的数据节点datanode里的多个数据块
（2）Hadoop部署为伪分布式模式后，若想改为单机模式，怎样设置。
删除 core-site.xml 中的配置项
（3）Hadoop部署为伪分布式模式，没有配置yarn，是否会堕落，若不堕落，部署成功后，怎样启动。
伪分布式不启动YARN也可以，一样平常不会影响步伐执行Ok qidong hdfs
1.格式化：hdfs namenode -format
2.启动hadoop
Start-dfs.sh
Start-yarn.sh
（4）Hadoop部署为伪分布式模式后，在此基础上，怎样设置，就为分布式模式。
修改从节点文件 slaves
修改/home/zkpk/hadoop-2.7.3/etc/hadoop/中的5个配置文件，
1.slaves
将文件中原来的 localhost 删除，只添加一行内容：Slave1
2.core-site.xml
- <name>fs.defaultFS</name>
- <value>hdfs://Master:9000</value>
- <name>fs.defaultFS</name>
- <value>hdfs://Master:9000</value>
3.hdfs-site.xml
Dfs.replication 设为1（一样平常是3）
4.mapred-site.xml
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
5.yarn-site.xml
- <name>yarn.resourcemanager.hostname</name>
- <value>Master</value>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
（5）在本机Hadoop实行环境下，修改主节点和从节点名称，主节点名称为你的姓（拼音），从节点的名称为你的名（拼音），主机名修改后，还要修改哪些设置内容，本机Hadoop实行环境才会正常运行。
1.以root身份修改/etc/hostname 的名字
2.重启
4.修改配置文件
5.重启
6.启动hadoop
Start-dfs.sh
Start-yarn.sh
7.修改从节点配置文件
|
| 出现的问题：1.修改文件内容时没有权限，对于普通用户只是可读文件，要以root身份进入后修改文件
2.修改后要重启
3.配置文件不光要修改主节点的配置文件，还要修改从节点的配置文件
|
| 解决方案（列出碰到的问题息争决办法，列出没有解决的问题）：
- 改名字时一头雾水，不知道改怎么办，颠末大量的网络资料查找和向老师咨询相干知识。理清了思绪，再和同学讨论后找到了最终精确的解决方案。
- 整理修改名字的思绪时，先修改名字文件，然后修改映射，重启后修改主节点和从节点的配置文件，然后重启,启动hadoop 即可完成修改。
|
