云盘算 认识常用的LINUX操作和hadoop部署相干操作 实行陈诉
《云盘算体系架构及应用》实行陈诉
标题：
认识常用的LINUX操作和hadoop部署相干操作
姓名
日期
实行环境： 操作体系：Linux
Hadoop版本：2.7.3
实行内容与完成情况：
（一）认识常用的Linux操作
请按要求上机实践如下linux基本下令。
cd下令：切换目次
（1）切换到目次 /usr/local
https://i-blog.csdnimg.cn/blog_migrate/0a14cf91258c3e80c536c5a5fafee08d.png
（2）去到目前的上层目次
https://i-blog.csdnimg.cn/blog_migrate/48d0bf6638c33b61d6c51478f960f9b0.png
（3）回到自己的主文件夹（/home/zkpk）
https://i-blog.csdnimg.cn/blog_migrate/d7a95f6dd18c6c26c2dc656c8107d178.png
ls下令：检察文件与目次
https://i-blog.csdnimg.cn/blog_migrate/68b89bfa39f940ba16cd8b9c3f25ec9f.png
（4）检察目次/usr下所有的文件
https://i-blog.csdnimg.cn/blog_migrate/5d81985e2b016e9733b1bac4a9e8c945.png
mkdir下令：新建新目次
（5）进入/tmp目次，创建一个名为a的目次,并检察有多少目次存在
https://i-blog.csdnimg.cn/blog_migrate/29a72d4d9506755323b3ef6f8fff7d14.png
https://i-blog.csdnimg.cn/blog_migrate/da2a20337c61d2c239740d3b379fbaa9.png
（6）进入/tmp目次，创建目次a1/a2/a3/a4
rmdir下令：删除空的目次
https://i-blog.csdnimg.cn/blog_migrate/c0d81f44acbfa44d27e6fafce6446cd9.png
（7）将上例创建的目次a（/tmp下面）删除
（8）删除目次a1/a2/a3/a4
cp下令：复制文件或目次
（9）将主文件夹下的.bashrc复制到/usr下，定名为bashrc1
（10）在/tmp下新建目次test，再复制这个目次内容到/usr
mv下令：移动文件与目次，或更名
（11）将上例文件bashrc1移动到目次/usr/test
（12）将上例test目次重定名为test2
rm下令：移除文件或目次
（13）将上例复制的bashrc1文件删除
（14）将上例的test2目次删除
cat下令：检察文件内容
（15）检察主文件夹下的.bashrc文件内容
https://i-blog.csdnimg.cn/blog_migrate/2b1f2032a07623f3be677cfbd6986089.png
（16）配置Java环境变量，在～/.bashrc中设置
(1)用文本编辑器打开用户目次下的.bashrc文件
https://i-blog.csdnimg.cn/blog_migrate/9fdd830381fb4e222b41910d0c1c8cb8.png
https://i-blog.csdnimg.cn/blog_migrate/55d225df7c002f868aee418e356bc620.png
(2)在.bashrc文件末尾加入：
set JAVA_HOME=/usr/share/jdk1.5.0_05
export JAVA_HOME
set PATH=$JAVA_HOME/bin:$PATH
export PATH
set CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export CLASSPATH
https://i-blog.csdnimg.cn/blog_migrate/9b7fab178601465abde8779b2d4ba799.png
(3)重新登录
（17）检察JAVA_HOME变量的值
（二）认识Hadoop部署时的相干操作
（1）请写出Hadoop部署时，大概会用到的配置文件，及所在路径。每个配置文件大概配置的属性有什么，及属性用途。
用到的配置文件：core-site.xml和hdfs-site.xml
路径：Hadoop 的配置文件位于 /home/zkpk/hadoop-2.7.3/etc/hadoop/ 中
配置属性：name 和 value
hadoop.tmp.dir 持久化配置防止断电时丢失
fs.defaultFS 修改端标语
dfs.replication 设置备份系数
dfs.namenode.name.dir作用是存放hadoop的名称节点namenode里的metadata
dfs.datanode.data.dir 是存放HDFS文件体系数据文件的目次，作用是存放hadoop的数据节点datanode里的多个数据块
（2）Hadoop部署为伪分布式模式后，若想改为单机模式，怎样设置。
删除 core-site.xml 中的配置项
（3）Hadoop部署为伪分布式模式，没有配置yarn，是否会堕落，若不堕落，部署成功后，怎样启动。
伪分布式不启动YARN也可以，一样平常不会影响步伐执行Ok qidong hdfs
1.格式化：hdfs namenode -format
2.启动hadoop
Start-dfs.sh
Start-yarn.sh
（4）Hadoop部署为伪分布式模式后，在此基础上，怎样设置，就为分布式模式。
修改从节点文件 slaves
修改/home/zkpk/hadoop-2.7.3/etc/hadoop/中的5个配置文件，
1.slaves
将文件中原来的 localhost 删除，只添加一行内容：Slave1
2.core-site.xml
[*] <name>fs.defaultFS</name>
[*] <value>hdfs://Master:9000</value>
[*] <name>fs.defaultFS</name>
[*] <value>hdfs://Master:9000</value>
3.hdfs-site.xml
Dfs.replication 设为1（一样平常是3）
4.mapred-site.xml
[*] <name>mapreduce.framework.name</name>
[*] <value>yarn</value>
5.yarn-site.xml
[*] <name>yarn.resourcemanager.hostname</name>
[*] <value>Master</value>
[*] <name>yarn.nodemanager.aux-services</name>
[*] <value>mapreduce_shuffle</value>
（5）在本机Hadoop实行环境下，修改主节点和从节点名称，主节点名称为你的姓（拼音），从节点的名称为你的名（拼音），主机名修改后，还要修改哪些设置内容，本机Hadoop实行环境才会正常运行。
1.以root身份修改/etc/hostname 的名字
https://i-blog.csdnimg.cn/blog_migrate/33890d255aa31d5b4548346656727b17.pnghttps://i-blog.csdnimg.cn/blog_migrate/e61c094ed2accf6d61d2ecc56a95da67.png
2.重启
https://i-blog.csdnimg.cn/blog_migrate/dc77d926dc156cf17d8c71f13c8bbdca.png
3.修改映射 vi/etc/hostshttps://i-blog.csdnimg.cn/blog_migrate/4fffe832818c40e5d7e18b58c63853f7.pnghttps://i-blog.csdnimg.cn/blog_migrate/56208ad66a452aaa447dc2903f220df4.png
4.修改配置文件
https://i-blog.csdnimg.cn/blog_migrate/878ca2da563f15f6e4f72e39391c2f14.pnghttps://i-blog.csdnimg.cn/blog_migrate/b97f5d043c460bbe910f07136458e3a0.pnghttps://i-blog.csdnimg.cn/blog_migrate/67371ca9da68532d7a2322f7be497f86.pnghttps://i-blog.csdnimg.cn/blog_migrate/a612ef7121c2b1aa69bf28e3c200c8ff.png
https://i-blog.csdnimg.cn/blog_migrate/9840484dc45ce69fdc982ff7f6e9a922.png
https://i-blog.csdnimg.cn/blog_migrate/f73dc59f9b4ee195738080923d9e0285.png
5.重启
https://i-blog.csdnimg.cn/blog_migrate/5b7bd8884802be99735d36df00992666.png
6.启动hadoop
Start-dfs.sh
Start-yarn.sh
https://i-blog.csdnimg.cn/blog_migrate/a41c8fc3be4a17d3333b45ab6eeee05f.png
7.修改从节点配置文件
https://i-blog.csdnimg.cn/blog_migrate/6c45240295bc40e6a0b41b0485bb8efc.png
出现的问题：1.修改文件内容时没有权限，对于普通用户只是可读文件，要以root身份进入后修改文件
2.修改后要重启
3.配置文件不光要修改主节点的配置文件，还要修改从节点的配置文件
解决方案（列出碰到的问题息争决办法，列出没有解决的问题）：
[*]
[*]改名字时一头雾水，不知道改怎么办，颠末大量的网络资料查找和向老师咨询相干知识。理清了思绪，再和同学讨论后找到了最终精确的解决方案。
[*]整理修改名字的思绪时，先修改名字文件，然后修改映射，重启后修改主节点和从节点的配置文件，然后重启,启动hadoop 即可完成修改。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]